Skip to content

Desafio Final do BootCamp de Engenharia de Dados do IGTI. Neste desafio utilizei o Airflow via Docker para orquestração do Pipeline de extração de dados do MongoDB e da API do IBGE, e ingestão no Data Lake S3 da AWS. Após isso os dados foram tratados e filtrados apenas para o público alvo para serem disponibilizados em um DW pelo RDS da AWS util…

Notifications You must be signed in to change notification settings

hugomuniz94/Pipeline-ETL-DataLake-DW-SQL

About

Desafio Final do BootCamp de Engenharia de Dados do IGTI. Neste desafio utilizei o Airflow via Docker para orquestração do Pipeline de extração de dados do MongoDB e da API do IBGE, e ingestão no Data Lake S3 da AWS. Após isso os dados foram tratados e filtrados apenas para o público alvo para serem disponibilizados em um DW pelo RDS da AWS util…

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages