Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Management page Vespa velutina #27

Closed
2 tasks done
Tracked by #26
SanderDevisscher opened this issue Aug 17, 2022 · 28 comments
Closed
2 tasks done
Tracked by #26

Management page Vespa velutina #27

SanderDevisscher opened this issue Aug 17, 2022 · 28 comments

Comments

@SanderDevisscher
Copy link
Collaborator

SanderDevisscher commented Aug 17, 2022

  • Provide datasources
  • Provide example scripts

@jrhillae eens samen overlopen als we in BXL zijn ?

@SanderDevisscher SanderDevisscher mentioned this issue Aug 17, 2022
13 tasks
@SanderDevisscher SanderDevisscher changed the title Vespa velutina @jrhillae/ @SanderDevisscher Vespa velutina Aug 17, 2022
@SanderDevisscher SanderDevisscher changed the title Vespa velutina Management page Vespa velutina Aug 17, 2022
@SanderDevisscher
Copy link
Collaborator Author

@mvarewyck in deze .zip vind je een voorbeeld van beheerdata van Vespa velutina vespaR_data.zip.

In de zip zitten de volgende bestanden:

  • aantal_gemelde_nesten.geojson: zit wel in de zip maar wordt niet gebruikt 😕
  • aantal_lente_nesten.csv: aantal gemelde nesten per provincie per jaar tussen 1/1 en 19/5
  • actieve_haarden.geojson: observaties van het huidige jaar van individuen op meer dan 2km van een beheerd nest of gemeld meer dan 7 dagen na een succesvolle beheeractie. puntenlaag.
  • beheerde_nesten.geojson: succesvol beheerde nesten
  • nesten.geojson: alle gemelde nesten
  • onbehandelde_nesten.geojson: niet of onvolledig beheerde nesten
  • points.geojson: alle observaties van individuen

Hier is ook een voorbeeld script hoe we deze data willen visualiseren basis_code_iu_tabs.txt.

@jrhillae ter info

@SanderDevisscher
Copy link
Collaborator Author

Naast de visualisaties uit de voorbeeld code mag je ook steeds een kaart voorzien met de verspreiding op regio niveau (analoog met de grofwildpagina) gebaseerd op nesten.geojson en points.geojson. De popup zou dan analoog met het dashboard 2 regels moeten bevatten aantal nesten en aantal individuen.

@mvarewyck
Copy link
Collaborator

Naast de visualisaties uit de voorbeeld code mag je ook steeds een kaart voorzien met de verspreiding op regio niveau (analoog met de grofwildpagina) gebaseerd op nesten.geojson en points.geojson. De popup zou dan analoog met het dashboard 2 regels moeten bevatten aantal nesten en aantal individuen.

@SanderDevisscher De file points.geojson bevat alle nodige info. Zouden jullie de file nesten.geojson kunnen aanvullen met ofwel (1) de naam van gemeente en gewest ofwel (2) NISCODE van de gemeente? Momenteel bevat deze punt coordinaten en niscode/naam van de provincie.

@mvarewyck
Copy link
Collaborator

@SanderDevisscher De file points.geojson bevat alle nodige info.

Ik heb wel wat renaming moeten doen op deze data om te matchen met de shape files

  • Gewest: "flanders", "brussels" or "wallonia"
  • Provincie: toegestane namen
> unique(allShapes$provinces$NAAM)
 [1] "Namen"                "Oost-Vlaanderen"      "Waals-Brabant"       
 [4] "Limburg"              "Henegouwen"           "Luxemburg"           
 [7] "Antwerpen"            "Luik"                 "HoofdstedelijkGewest"
[10] "Vlaams-Brabant"       "West-Vlaanderen" 

@mvarewyck
Copy link
Collaborator

Draft page ready. To be discussed during next meeting

  • Need logo Vespa velutina?
  • Download data: needed for actieve haarden? Alle observaties plot enkel nesten data?

@SanderDevisscher
Copy link
Collaborator Author

Draft page ready. To be discussed during next meeting

  • Need logo Vespa velutina?

Yes, with link to vespawatch.be

  • Download data: needed for actieve haarden? Alle observaties plot enkel nesten data?

to be discussed

@SanderDevisscher
Copy link
Collaborator Author

SanderDevisscher commented Aug 25, 2023

Zal ik deze mapping in de backoffice doen ?

@SanderDevisscher
Copy link
Collaborator Author

of maak je weer zo'n data preprocessing scripts ?

@mvarewyck
Copy link
Collaborator

of maak je weer zo'n data preprocessing scripts ?

  • Preprocessing van points.geojson kan langs onze kant (momenteel zo geimplementeerd)
  • Aanvullen van nesten.geojson graag langs jullie kant. Dit vereist specifieke R packages voor punt in polygon bepaling.

@SanderDevisscher
Copy link
Collaborator Author

komt in orde

@SanderDevisscher
Copy link
Collaborator Author

I've added the Columns NISCODE, Gemeente & Gewest to nesten.geojson.
nesten.txt is in fact nesten.geojson but github doesn't allow uploading of geojsons

@mvarewyck
Copy link
Collaborator

Naast de visualisaties uit de voorbeeld code mag je ook steeds een kaart voorzien met de verspreiding op regio niveau (analoog met de grofwildpagina) gebaseerd op nesten.geojson en points.geojson. De popup zou dan analoog met het dashboard 2 regels moeten bevatten aantal nesten en aantal individuen.

To be discussed during next meeting:

  • Do you want a filter to select individuen and/or nesten data?
  • When both are shown on single map, we group & color wrt pure sum of nesten + individuen. No correction for nests compared to individuen?

@SanderDevisscher
Copy link
Collaborator Author

SanderDevisscher commented Sep 4, 2023

todo's vespa page:

graph trend yearly:

  • add region filter
  • add option to combine regions
  • add year slider
  • add nest type filter (I need to check internally if data is present in data provided).

Management of Vespa velutina (2017 - 2023) - map:

  • displaying managed nests (beheerde_nesten.geojson)
  • add nest type filter (I need to check internally if data is present in data provided).

actieve haarden:

  • add radius filter
    - I'll add a new integer column named "radius" with some options in meters to actieve_haarden.geojson
    - data-driven filter; options are what's in the data (allows flexibility on our part & stability in the app)
    - single selection, default is lowest

notes for myself:

  • lente nesten obv secundairy nests
  • actieve haarden op 500m, 1000m, 1500m & 2000m en data lagg of 2 days
  • tekst boven actieve haarden kaartje dient aangepast te worden om beter om te kunnen met aanpassingen.

@jrhillae
Copy link

jrhillae commented Sep 4, 2023

@SanderDevisscher : note berekenen actieve haarden op basis van factor radius

mvarewyck added a commit that referenced this issue Sep 5, 2023
@SanderDevisscher
Copy link
Collaborator Author

SanderDevisscher commented Sep 8, 2023

@mvarewyck here are the new actieve haarden & onbehandelde nesten files, with the radius column.
data.zip

this filter should allow only 1 option with the default being the lowest value.

@SanderDevisscher
Copy link
Collaborator Author

the column nest_type is advailable in the nesten.geojson. You can work with the codes w'll provide the translation.

@mvarewyck
Copy link
Collaborator

I found some missing data (originally in nesten.geojson). @SanderDevisscher Can this be completed on your side?

> Vespa_velutina_shape$nesten[is.na(Vespa_velutina_shape$nesten$GEWEST), c("id", "provincie", "NISCODE", "GEWEST", "NAAM", "geometry")]
Simple feature collection with 3 features and 5 fields
Geometry type: POINT
Dimension:     XY
Bounding box:  xmin: 2.913075 ymin: 50.76312 xmax: 4.761601 ymax: 51.23604
Geodetic CRS:  WGS 84
         id       provincie NISCODE GEWEST NAAM                  geometry
1458  63951 Oost-Vlaanderen    <NA>   <NA> <NA> POINT (3.524079 50.76312)
1809  71206  Vlaams Brabant    <NA>   <NA> <NA> POINT (4.761601 50.87329)
2576 164465 West-Vlaanderen    <NA>   <NA> <NA> POINT (2.913075 51.23604)

@SanderDevisscher
Copy link
Collaborator Author

I'll look into it!

@mvarewyck
Copy link
Collaborator

the column nest_type is advailable in the nesten.geojson. You can work with the codes w'll provide the translation.

@SanderDevisscher Do you calculate nest_type on your side? If so, could we have the value NA for these records, rather than the strings 'NA' or 'NULL'?

> Vespa_velutina_shape$nesten[Vespa_velutina_shape$nesten$nest_type %in% c("NA", "NULL"), c("id", "nest_type", "comments.2", "geometry")]
Simple feature collection with 6 features and 3 fields
Geometry type: POINT
Dimension:     XY
Bounding box:  xmin: 3.722466 ymin: 50.78585 xmax: 5.316252 ymax: 51.12496
Geodetic CRS:  WGS 84
        id nest_type comments.2                  geometry
747  71421        NA       <NA> POINT (5.316252 50.91115)
803  71459        NA       <NA> POINT (4.137331 51.08656)
822  71388        NA       <NA> POINT (3.722466 51.12496)
978  66400      NULL       NULL POINT (4.062002 50.98968)
1359 64533      NULL  Geen nest POINT (3.788277 50.78585)
2040 65123      NULL  GEEN NEST  POINT (4.10907 50.78594)

Yes, it's the string 'NA' as we also have the value NA:

> sum(is.na(Vespa_velutina_shape$nesten$nest_type))
[1] 10

@mvarewyck
Copy link
Collaborator

Management of Vespa velutina (2017 - 2023) - map:

  • displaying managed nests (beheerde_nesten.geojson)

@SanderDevisscher Currently the map displays data from 'nesten.geojson' and 'points.geojson'. The user can select one or more of these sources. Do you want to add 'beheerde_nesten.geojson' as data source or should it replace the 'nesten.geojson' source?

The file 'beheerde_nesten.geojson' doesn't contain info on the municipality and gewest. Can you please add column 'NAAM' = municipality and 'GEWEST' = gewest and rename 'NAAM' into 'provincie'?

@SanderDevisscher SanderDevisscher added this to the v1.0.0 is live milestone Nov 9, 2023
@mvarewyck
Copy link
Collaborator

@SanderDevisscher The following data records are in 'beheerde_nesten.geojson' but not in 'nesten.geojson'. They are located in Flanders, but from the comments I think these are duplicates (?)

> readS3(file = "Vespa_velutina_shape.RData")
> Vespa_velutina_shape$beheerde_nesten[!(Vespa_velutina_shape$beheerde_nesten$geometry %in% Vespa_velutina_shape$nesten$geometry), c("id", "comments", "NAAM", "geometry")]
Simple feature collection with 6 features and 3 fields
Geometry type: POINT
Dimension:     XY
Bounding box:  xmin: 4.462138 ymin: 50.85879 xmax: 4.803863 ymax: 51.16638
Geodetic CRS:  WGS 84
        id
331  78483
361 169546
398  73266
401  73144
429 124657
430 125558
                                                                                                       comments
331 Bewoner had ons gecontacteerd voor het verdelgen van deze nest en is reeds behandeld De Wespenbestrijder.be
361          foto is niet super duidelijk maar wel degelijk primair nest. Patrick Van Ende verdelgde het reeds.
398                                                                               Reeds verdelgd door Bee-Happy
401                                                                              Reeds bestreden door Bee-Happy
429                                                         Reeds geneutraliseerd door Bee-Happy. Kevin Verbeek
430                                                                    Reeds geneutraliseerd door Kevin Verbeek
              NAAM                  geometry
331      Antwerpen POINT (4.736252 51.16638)
361      Antwerpen POINT (4.462138 51.12841)
398 Vlaams Brabant POINT (4.695619 50.85879)
401 Vlaams Brabant  POINT (4.715462 50.9205)
429 Vlaams Brabant POINT (4.803863 50.99755)
430 Vlaams Brabant POINT (4.785315 51.00097)

@SanderDevisscher
Copy link
Collaborator Author

SanderDevisscher commented Nov 13, 2023

Suggestions for improvement

  • Management of Vespa velutina (2017 - 2023)
    • in popup drop total
    • in line graph below split lines for individuals & nests (or if to complex only nests)
  • Active hotbeds
    • drop managed nests
    • chance untreated nests color to black
  • All observations
    • rename to All observations current year
    • add NestType & Management status to popup
    • add data lag disclaimer

=> v1.1.0 update

@SanderDevisscher
Copy link
Collaborator Author

SanderDevisscher commented Nov 13, 2023

I get the following error when I build the app in docker could not find function "s3read_using" on the vespa velutina management page.

=> v1.0.0 should be fixed before launch

@SanderDevisscher
Copy link
Collaborator Author

SanderDevisscher commented Nov 13, 2023

We need to think about logic at start of the year. In case of maps like active hotbeds & all observations current year the input files will become empty at the beginning of the year, suggestions to cope with this:

  • activate active hotbeds only between 1/4 & 1/12 & display disclaimer1 for the rest of the year
  • add the outline of the regions (flanders, wallonia, ...) to both maps

1initial suggestion: "The species is currently not active. When you do observe a individual this might be a wintering queen which does not indicate nesting activity"

@jrhillae is the suggested disclaimer ok ?

=> v1.0.0 should be fixed before launch

@Yingjie-ZhangOA
Copy link
Collaborator

I get the following error when I build the app in docker could not find function "s3read_using" on the vespa velutina management page.

The commit a36077b solves the issue

@Yingjie-ZhangOA
Copy link
Collaborator

@mvarewyck here are the new actieve haarden & onbehandelde nesten files, with the radius column. data.zip

this filter should allow only 1 option with the default being the lowest value.

commit commit 88ed9db implement the filter and subsequent action on the data.

@mvarewyck
Copy link
Collaborator

  • activate active hotbeds only between 1/4 & 1/12 & display disclaimer1 for the rest of the year

@SanderDevisscher Do you want this for both plots 'active hotbeds' and 'all observations'? Or only for the first one?

@SanderDevisscher
Copy link
Collaborator Author

  • activate active hotbeds only between 1/4 & 1/12 & display disclaimer1 for the rest of the year

@SanderDevisscher Do you want this for both plots 'active hotbeds' and 'all observations'? Or only for the first one?

I would say only the active hotbeds map! @jrhillae what do you think?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

4 participants