RKI changed vaccination report fundamentally: how to adjust scraper output?

[edg-stg]

• no more indications "Pflege", "medizinisch", "Alter", "Beruf"
• age <60 and 60+
• added vaccinations in doctor's practices

[n0rdlicht]

@edg-stg indeed 🤯

Started working on an updated mapping to keep sums, add new fields, drop missing etc. But think I won't be able to implement all necessary changes before the weekend. Will run a manual update until then to at least capture the two published sheets to data/de-vaccinations-raw-totals.csv and data/de-vaccinations-raw-quote.csv respectively. Hope to have an updating data/de-vaccinations-current.csv and data/de-vaccinations.csv back during the weekend.

[n0rdlicht]

Rough first mapping and preview of future keys in the CSV / API:

• New subkeys for centers ("Impfzentren, Mobilen Teams, Krankenhäuser") and doctors ("niedergelassenen Ärzteschaft")
• Sums for <60 and 60+ age groups
• Depracted: ind_alter, ind_prof, ind_med and ind_pflege

Will finalise the scraper / automatic publication process tomorrow.

key	Status	Lookup 🔎 / Calculation 🧮	RKIv2 field name / calculation	RKIv3 field name / calculation
sum	✅	🔎	Gesamtzahl bisher verabreichter Impfstoffdosen	Insgesamt über alle Impfstellen Gesamtzahl bisher verabreichter Impfungen
sum_age_<60	🆕	🧮		= sum_initial_age_<60 + sum_booster_age_<60
sum_age_60+	🆕	🧮		= sum_initial_age_60+ + sum_booster_age_60+
sum_initial	✅	🔎	Erstimpfung Impfungen kumulativ Gesamt	Insgesamt über alle Impfstellen Gesamtzahl einmalig geimpft
sum_initial_centers	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern eine Impfung Impfungen kumulativ Gesamt
sum_initial_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft eine Impfung Impfungen kumulativ Gesamt
sum_initial_age_<60	🆕	🧮		= sum_initial_age_<60_centers + sum_initial_age_<60_centers
sum_initial_age_<60_centers	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams und Krankenhäusern eine Impfung <60 Jahre
sum_initial_age_<60_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft eine Impfung <60 Jahre
sum_initial_age_60+	🆕	🧮		= sum_initial_age_60+_centers + sum_initial_age_60+_centers
sum_initial_age_60+_center	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams und Krankenhäusern eine Impfung 60+ Jahre
sum_initial_age_60+_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft eine Impfung 60+ Jahre
sum_booster	✅	🔎	Zweitimpfung Impfungen kumulativ Gesamt	Insgesamt über alle Impfstellen Gesamtzahl vollständig geimpft
sum_booster_centers	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern vollständig geimpft Impfungen kumulativ Gesamt
sum_booster_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft vollständig geimpft Impfungen kumulativ Gesamt
sum_booster_age_<60	🆕	🧮		= sum_booster_age_<60_centers + sum_booster_age_<60_centers
sum_booster_age_<60_centers	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams und Krankenhäusern vollständig geimpft <60 Jahre
sum_booster_age_<60_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft vollständig geimpft <60 Jahre
sum_booster_age_60+	🆕	🧮		= sum_booster_age_60+_centers + sum_booster_age_60+_centers
sum_booster_age_60+_centers	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams und Krankenhäusern vollständig geimpft 60+Jahre
sum_booster_age_60+_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft vollständig geimpft 60+Jahre
sum_biontech	🆕	🧮		= sum_initial_biontech + sum_booster_biontech
sum_initial_biontech	✅	🔎 -> 🧮	Erstimpfung Impfungen kumulativ BioNTech	= sum_initial_biontech_centers + sum_initial_biontech_doctors
sum_initial_biontech_centers	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern eine Impfung Impfungen kumulativ BioNTech
sum_initial_biontech_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft eine Impfung Impfungen kumulativ BioNTech
sum_booster_biontech	✅	🔎 -> 🧮	Zweitimpfung Impfungen kumulativ BioNTech	= sum_booster_biontech_centers + sum_booster_biontech_doctors
sum_booster_biontech_centers	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern vollständig geimpft Impfungen kumulativ BioNTech
sum_booster_biontech_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft vollständig geimpft Impfungen kumulativ BioNTech
sum_moderna	🆕	🧮		= sum_initial_moderna + sum_booster_moderna
sum_initial_moderna	✅	🔎 -> 🧮	Erstimpfung Impfungen kumulativ Moderna	= sum_initial_moderna_centers + sum_initial_moderna_doctors
sum_initial_moderna_centers	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern eine Impfung Impfungen kumulativ Moderna
sum_initial_moderna_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft eine Impfung Impfungen kumulativ Moderna
sum_booster_moderna	✅	🔎 -> 🧮	Zweitimpfung Impfungen kumulativ Moderna	= sum_booster_moderna_centers + sum_booster_moderna_doctors
sum_booster_moderna_centers	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern vollständig geimpft Impfungen kumulativ Moderna
sum_booster_moderna_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft vollständig geimpft Impfungen kumulativ Moderna
sum_astrazeneca	🆕	🧮		= sum_initial_astrazeneca + sum_booster_astrazeneca
sum_initial_astrazeneca	✅	🔎 -> 🧮	Erstimpfung Impfungen kumulativ AstraZeneca	= sum_initial_astrazeneca_centers + sum_initial_astrazeneca_doctors
sum_initial_astrazeneca_centers	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern eine Impfung Impfungen kumulativ AstraZeneca
sum_initial_astrazeneca_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft eine Impfung Impfungen kumulativ AstraZeneca
sum_booster_astrazeneca	✅	🔎 -> 🧮	Zweitimpfung Impfungen kumulativ AstraZeneca	= sum_booster_astrazeneca_centers + sum_booster_astrazeneca_doctors
sum_booster_astrazeneca_centers	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern vollständig geimpft Impfungen kumulativ AstraZeneca
sum_booster_astrazeneca_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft vollständig geimpft Impfungen kumulativ AstraZeneca
delta_vortag	✅	🧮	= delta_vortag_initial + delta_vortag_booster	= delta_vortag_centers + delta_vortag_doctors
delta_vortag_centers	🆕	🧮		= delta_vortag_initial_centers + delta_vortag_booster_centers
delta_vortag_doctors	🆕	🧮		= delta_vortag_initial_doctors + delta_vortag_booster_doctors
delta_vortag_initial	✅	🔎 -> 🧮	Erstimpfung Differenz zum Vortag	= delta_vortag_initial_centers + delta_vortag_initial_doctors
delta_vortag_initial_centers	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern eine Impfung Differenz zum Vortag
delta_vortag_initial_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft eine Impfung Differenz zum Vortag
delta_vortag_booster	✅	🔎 -> 🧮	Zweitimpfung Differenz zum Vortag	= delta_vortag_booster_centers + delta_vortag_booster_doctors
delta_vortag_booster_centers	🆕	🔎		Impfungen in Impfzentren, Mobilen Teams, Krankenhäusern vollständig geimpft Differenz zum Vortag
delta_vortag_booster_doctors	🆕	🔎		Impfungen der niedergelassenen Ärzteschaft vollständig geimpft Differenz zum Vortag
quote_initial	✅	🔎	Erstimpfung Impf-quote %	Insgesamt über alle Impfstellen Impfquote mit einer Impfung Gesamt
quote_initial_<60	🆕	🔎		Insgesamt über alle Impfstellen Impfquote mit einer Impfung <60 Jahre
quote_initial_60+	🆕	🔎		Insgesamt über alle Impfstellen Impfquote mit einer Impfung 60+ Jahre
quote_booster	✅	🔎	Zweitimpfung Impf-quote %	Insgesamt über alle Impfstellen Impfquote vollständig geimpft Gesamt
quote_booster_<60	🆕	🔎		Insgesamt über alle Impfstellen Impfquote vollständig geimpft <60 Jahre
quote_booster_60+	🆕	🔎		Insgesamt über alle Impfstellen Impfquote vollständig geimpft 60+ Jahre
ind_alter	🚫		= ind_alter_initial + ind_alter_booster	DEPRECATED – last published 2021-04-07
ind_alter_initial	🚫		Erstimpfung Indikation nach Alter	DEPRECATED – last published 2021-04-07
ind_alter_booster	🚫		Zweitimpfung Indikation nach Alter	DEPRECATED – last published 2021-04-07
ind_prof	🚫		= ind_prof_initial + ind_prof_booster	DEPRECATED – last published 2021-04-07
ind_prof_initial	🚫		Erstimpfung Berufliche Indikation	DEPRECATED – last published 2021-04-07
ind_prof_booster	🚫		Zweitimpfung Berufliche Indikation	DEPRECATED – last published 2021-04-07
ind_med	🚫		= ind_med_initial + ind_med_booster	DEPRECATED – last published 2021-04-07
ind_med_initial	🚫		Erstimpfung Medizinische Indikation	DEPRECATED – last published 2021-04-07
ind_med_booster	🚫		Zweitimpfung Medizinische Indikation	DEPRECATED – last published 2021-04-07
ind_pflege	🚫		= ind_pflege_initial + ind_pflege_booster	DEPRECATED – last published 2021-04-07
ind_pflege_initial	🚫		Erstimpfung Pflegeheim-bewohnerIn	DEPRECATED – last published 2021-04-07
ind_pflege_booster	🚫		Zweitimpfung Pflegeheim-bewohnerIn	DEPRECATED – last published 2021-04-07

[n0rdlicht]

@edg-stg running initial version manually for a few days to check – data should be updated once a day again. Push a couple of minutes ago is for published data from Saturday. Monday will come as soon as published :)

[edg-stg]

thanks a lot! rki updated today

[n0rdlicht]

thanks a lot! rki updated today

thanks. Current set should be based on todays publication. Will monitor :)

[edg-stg]

mapping to new cells seems to work fine!

do you want to fill the missing dates 7 to 10 april? i could provide the excel tables

[n0rdlicht]

Only captured some of the missing ones, hence would be very happy about those and add them in :)

[edg-stg]

https://github.com/zidatalab/covid19dashboard/tree/master/data/rki_vacc_excel
here are the files for the missing dates