Desafio Pipeline de dados - Indicium

Sobre o projeto.

A ideia é construir um pipeline de dados utilizando duas fontes, um banco de dados e um arquivo csv.

• Primeiro passo: Extrair todas as tabelas do banco de dados e salvá-las em formato csv e, também incluir o arquivo csv separadamente disponibilizado para este projeto.
• Segundo passo: Salvar os arquivos em um diretório local com a data de cada dia de extração.
• Terceiro passo: Submeter os dados para um banco de dados de sua preferência.

Todos os detalhes de construção do projeto você encontra aqui

O desafio original encontra-se aqui

Tecnologias utilizadas

Linguagens

• Python
• SQL

Ferramentas

• Jupyter notebook
• Docker
• Postgres SQL

Resultado da consulta no banco de dados

Autor

Willian Ribeiro dos Santos