PUC Minas Projeto 4 - Desenvolvimento de um Projeto de Big Data Analytics - 2024/01
Projeto original utilizando AWS - ambiente produtivo, portanto com um custo monetário atrelado ao seu desenvolvimento.
Para um desenvolvimento sem custo se vê necessário a troca de hospedagem do banco PostgreSQL e do orquestrador Airflow, respectivamente originariamente hospedados no RDS e EC2 (AWS).
Para construção e funcionamento do projeto primeiro precisamos criar e configurar sua infraestrutura, por padrão o projeto está utilizando produtos da AWS, como EC2 e RDS.
Para sua construção foi escolhido o uso do framework open-source Terraform, por ser um IaC (Infrastructure as Code), possibilitando o desenvolvimento e manuseio da Infraestrutura por meio de código, facilitando a replicabilidade e manutenção.
Para o desenvolvimento da infraestrutura:
A origem dos dados estão na página do governo, onde mensalmente a Ancine faz o carregamento dos conjuntos de dados relevantes para o projeto.
Dados disponibilizados em: https://dados.gov.br/dados/organizacoes/visualizar/agencia-nacional-do-cinema
O SGBD escolhido para o projeto foi o PostgreSQL, por se tratar de um banco com alta performance e simplicidade em seu manuseio.
Por meio de scripts em Python é feito o download das bases de dados em sua origem e transformados em tabelas para o PostgreSQL - utilizando SQLAlchemy.
Tais scripts podem ser encontrados dentro do repositório aqui.
⚠️ IMPORTANTE
Se atente em popular um arquivo chamado.envutilizando o.env_templatecomo auxiliar. Esse arquivo será importante para a criação das tabelas origens no PostreSQL e para a transformação dos dados utilizando o dbt.
Após os dados em seu formato original (conjuntos de dados da Ancine) serem carregados para o PostgreSQL, através de tabelas, é feito transformações nelas a fim de termos melhores dados tratados e trabalhados para fins analíticos.
Para tais transformações foi escolhido o framework open-source dbt, por possibilitar a criação de modelos de forma intuitiva e declarativa, facilitando a definição de estruturas de dados complexas e transformações específicas com uma sintaxe familiar.
As configurações e seus modelos (tabelas) do dbt podem ser encontrados dentro do repositório aqui.
Tendo os scripts em Python de download e carregamento das tabelas e os modelos no dbt de transformação, se vê necessário uma orquestração, possibilitando todo carregamento e atualização dos dados ponta a ponta de forma automática e sistemática.
Para orquestração foi utilizado Airflow e sua construção pode ser encontrada dentro do repositório aqui.
Como dito anteriormente a orquestração estará instanciada no EC2, utilizando GitHub Action para deploy automático.