Skip to content

Commit

Permalink
update date field, closes #406 thanks @be-green !
Browse files Browse the repository at this point in the history
  • Loading branch information
@jthomasmock
jthomasmock committed Jan 11, 2022
1 parent 8eabe14 commit a48b6b2
Show file tree
Hide file tree
Showing 3 changed files with 341 additions and 334 deletions.
17 changes: 12 additions & 5 deletions data/2022/2022-01-11/bees.R
View file
Original file line number Diff line number Diff line change
Expand Up @@ -38,6 +38,7 @@ clean_bee_colonies <- function(file){
date_rng <- read_csv(file, skip = 0, col_names = FALSE) %>%
slice(2) %>%
pull(X3) %>%
str_replace(" [5-6]/$", "") %>%
word(-2, -1)

clean_df <- suppressWarnings(raw_df %>%
Expand All @@ -61,14 +62,14 @@ clean_bee_stress <- function(file){

col_labs <- c("state", "colony_n", "colony_max", "colony_lost",
"colony_lost_pct", "colony_added", "colony_reno", "colony_reno_pct")

raw_df <- read_csv("2022/2022-01-11/bee-16/hcny_p06_t002.csv", skip = 4, col_names = FALSE)


raw_df <- read_csv(file, skip = 4, col_names = FALSE)

date_rng <- read_csv(file, skip = 0, col_names = FALSE) %>%
slice(2) %>%
pull(X3) %>%
str_replace(" [5-6]/$", "") %>%
word(-2, -1)

stress_nm <- c("state", "Varroa mites", "Other pests/parasites", "Disesases",
Expand All @@ -92,7 +93,7 @@ clean_bee_stress <- function(file){
# Get the file index ------------------------------------------------------


all_html_index <- dir_ls("2022/2022-01-11", recurse = TRUE, glob = "*htm") %>%
all_html_index <- dir_ls("data/2022/2022-01-11", recurse = TRUE, glob = "*htm") %>%
str_subset("bee-") %>%
str_subset("index")

Expand Down Expand Up @@ -125,7 +126,7 @@ all_index_files <- map_dfr(all_html_index, get_index)

# Split data by type
split_files <- all_index_files %>%
mutate(dir_file = glue::glue("2022/2022-01-11/bee-{year}/{file}")) %>%
mutate(dir_file = glue::glue("data/2022/2022-01-11/bee-{year}/{file}")) %>%
select(type, dir_file, year, file, desc) %>%
group_split(type)

Expand All @@ -148,4 +149,10 @@ all_colonies %>%

all_stress %>%
count(year, months) %>%
filter(n > 282)
filter(n > 282)

all_colonies %>%
write_csv("data/2022/2022-01-11/colony.csv")

all_stress %>%
write_csv("data/2022/2022-01-11/stressor.csv")
94 changes: 47 additions & 47 deletions data/2022/2022-01-11/colony.csv
View file
Original file line number Diff line number Diff line change
Expand Up @@ -798,53 +798,53 @@ year,months,state,colony_n,colony_max,colony_lost,colony_lost_pct,colony_added,c
2019,January-March,Wyoming,6500,9500,250,3,NA,NA,NA
2019,January-March,Other States,6070,6070,590,10,70,30,NA
2019,January-March,United States,2671470,NA,407700,15,247710,179500,7
6/,2019,Alabama,NA,NA,NA,NA,NA,NA,NA
6/,2019,Arizona,NA,NA,NA,NA,NA,NA,NA
6/,2019,Arkansas,NA,NA,NA,NA,NA,NA,NA
6/,2019,California,NA,NA,NA,NA,NA,NA,NA
6/,2019,Colorado,NA,NA,NA,NA,NA,NA,NA
6/,2019,Connecticut,NA,NA,NA,NA,NA,NA,NA
6/,2019,Florida,NA,NA,NA,NA,NA,NA,NA
6/,2019,Georgia,NA,NA,NA,NA,NA,NA,NA
6/,2019,Hawaii,NA,NA,NA,NA,NA,NA,NA
6/,2019,Idaho,NA,NA,NA,NA,NA,NA,NA
6/,2019,Illinois,NA,NA,NA,NA,NA,NA,NA
6/,2019,Indiana,NA,NA,NA,NA,NA,NA,NA
6/,2019,Iowa,NA,NA,NA,NA,NA,NA,NA
6/,2019,Kansas,NA,NA,NA,NA,NA,NA,NA
6/,2019,Kentucky,NA,NA,NA,NA,NA,NA,NA
6/,2019,Louisiana,NA,NA,NA,NA,NA,NA,NA
6/,2019,Maine,NA,NA,NA,NA,NA,NA,NA
6/,2019,Maryland,NA,NA,NA,NA,NA,NA,NA
6/,2019,Massachusetts,NA,NA,NA,NA,NA,NA,NA
6/,2019,Michigan,NA,NA,NA,NA,NA,NA,NA
6/,2019,Minnesota,NA,NA,NA,NA,NA,NA,NA
6/,2019,Mississippi,NA,NA,NA,NA,NA,NA,NA
6/,2019,Missouri,NA,NA,NA,NA,NA,NA,NA
6/,2019,Montana,NA,NA,NA,NA,NA,NA,NA
6/,2019,Nebraska,NA,NA,NA,NA,NA,NA,NA
6/,2019,New Jersey,NA,NA,NA,NA,NA,NA,NA
6/,2019,New Mexico,NA,NA,NA,NA,NA,NA,NA
6/,2019,New York,NA,NA,NA,NA,NA,NA,NA
6/,2019,North Carolina,NA,NA,NA,NA,NA,NA,NA
6/,2019,North Dakota,NA,NA,NA,NA,NA,NA,NA
6/,2019,Ohio,NA,NA,NA,NA,NA,NA,NA
6/,2019,Oklahoma,NA,NA,NA,NA,NA,NA,NA
6/,2019,Oregon,NA,NA,NA,NA,NA,NA,NA
6/,2019,Pennsylvania,NA,NA,NA,NA,NA,NA,NA
6/,2019,South Carolina,NA,NA,NA,NA,NA,NA,NA
6/,2019,South Dakota,NA,NA,NA,NA,NA,NA,NA
6/,2019,Tennessee,NA,NA,NA,NA,NA,NA,NA
6/,2019,Texas,NA,NA,NA,NA,NA,NA,NA
6/,2019,Utah,NA,NA,NA,NA,NA,NA,NA
6/,2019,Vermont,NA,NA,NA,NA,NA,NA,NA
6/,2019,Virginia,NA,NA,NA,NA,NA,NA,NA
6/,2019,Washington,NA,NA,NA,NA,NA,NA,NA
6/,2019,West Virginia,NA,NA,NA,NA,NA,NA,NA
6/,2019,Wisconsin,NA,NA,NA,NA,NA,NA,NA
6/,2019,Wyoming,NA,NA,NA,NA,NA,NA,NA
6/,2019,Other States,NA,NA,NA,NA,NA,NA,NA
6/,2019,United States,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Alabama,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Arizona,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Arkansas,NA,NA,NA,NA,NA,NA,NA
2019,April-June,California,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Colorado,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Connecticut,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Florida,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Georgia,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Hawaii,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Idaho,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Illinois,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Indiana,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Iowa,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Kansas,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Kentucky,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Louisiana,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Maine,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Maryland,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Massachusetts,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Michigan,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Minnesota,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Mississippi,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Missouri,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Montana,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Nebraska,NA,NA,NA,NA,NA,NA,NA
2019,April-June,New Jersey,NA,NA,NA,NA,NA,NA,NA
2019,April-June,New Mexico,NA,NA,NA,NA,NA,NA,NA
2019,April-June,New York,NA,NA,NA,NA,NA,NA,NA
2019,April-June,North Carolina,NA,NA,NA,NA,NA,NA,NA
2019,April-June,North Dakota,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Ohio,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Oklahoma,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Oregon,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Pennsylvania,NA,NA,NA,NA,NA,NA,NA
2019,April-June,South Carolina,NA,NA,NA,NA,NA,NA,NA
2019,April-June,South Dakota,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Tennessee,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Texas,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Utah,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Vermont,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Virginia,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Washington,NA,NA,NA,NA,NA,NA,NA
2019,April-June,West Virginia,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Wisconsin,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Wyoming,NA,NA,NA,NA,NA,NA,NA
2019,April-June,Other States,NA,NA,NA,NA,NA,NA,NA
2019,April-June,United States,NA,NA,NA,NA,NA,NA,NA
2019,July-September,Alabama,7000,7000,990,14,160,330,5
2019,July-September,Arizona,26000,30000,2000,7,5500,3800,13
2019,July-September,Arkansas,20000,21000,2100,10,170,680,3
Expand Down
Loading

0 comments on commit a48b6b2

Please sign in to comment.