Nossa missão é fornecer o melhor ensino em engenharia de dados
Bem-vindo ao Roadmap de Engenharia de Dados da Jornada de Dados! Este repositório foi construído colaborativamente e tem como objetivo capacitá-lo para a carreira de engenharia de dados, ajudando profissionais como você a atingir novos patamares em sua trajetória profissional.
Aqui você encontrará:
- Roadmap de Estudo: Links, referências e materiais complementares para auxiliar no seu aprendizado. Se você quer ter um plano de estudo, encontrará uma série de projetos e recursos que o guiarão passo a passo no desenvolvimento das habilidades essenciais em engenharia de dados.
- Códigos das Aulas: Todos os códigos e materiais utilizados durante as aulas estão disponíveis neste repositório para que você possa praticar e aprofundar seu conhecimento.
- Calendário dos Próximos Encontros: Fique por dentro das datas e temas dos próximos workshops e bootcamps da Jornada de Dados.
Se você gostou do conteúdo e quer se inscrever em nosso programa profissional, pode fazer isso aqui:
| Nome/Github | Onde | Data | Mês |
|---|---|---|---|
| Pipeline de dados no Azure | Jornada | 21/12 | Hoje |
| ETL 10 bilhões de linhas | Youtube | Terça dia 14/01 ás 19h30 | Janeiro |
| Databricks e delta table (OLAP + OLTP) | Jornada | 22/01 | Janeiro |
| Bootcamp Multiengine Databricks, Spark e DuckDB | Jornada | 27/01 até 31/01 | Janeiro |
| Convidado surpresa | Jornada | 04/02 | Janeiro |
| Kubernetes e Airflow no Google Cloud | Jornada | 22/02 | Fevereiro |
| Bootcamp de AI Agents | Jornada | 27/03 | Março |
Tem sugestões de Tópicos? clique aqui
Abra uma Issue aqui
Participe e interaja
| Nome | Link | Duração | Stack/Github |
|---|---|---|---|
| Extração de API do zero | Assistir no YouTube | 2h | GitHub, Python, API, SQL, Azure, Streamlit |
| Pipeline ETL - Web Scraping com Requests e Beautiful Soup 4 | Assistir no YouTube | 2h | GitHub, Python, Requests e Beautiful Soup 4 |
| Pipeline de Dados com GA4 e Typeform | Assistir no YouTube | 6h | Python, SQL e Cursor AI |
| Pipeline Gen AI - ETL com API e CRM de vendas | Assistir no YouTube | 6h | Python, SQL, OpenAI, Langchain e Git |
| WORKSHOP ABERTO #1 - DO ZERO AO DEPLOY COM LUCIANO | Assistir no YouTube | 2h | GitHub, VirtualEnv, TDD, taskipy, pytest, Streamlit, Selenium, Pydantic, MkDocs |
| Criando ETL Com Python e DUCKDB DO ZERO AO DEPLOY ft. @mehd-io | Assistir no YouTube | 1h47min | DuckDB, SQL, S3, CSV, JSON, MotherDuck, Streamlit, Docker, Render |
| CRIANDO ETL COM PYTHON E DUCKDB DO ZERO AO DEPLOY | Assistir no YouTube | 2h32min | DuckDB, SQLAlchemy, Google Drive, SQL, Postgres, Python, CSV, Parquet, JSON, Streamlit, Docker, Render |
| Modern Data Stack com SQL - Parte 1 de 3 ft. @MarcLamberti | Assistir no YouTube | 2h | AirFlow, Astro-cli, Docker, Airbyte Cloud , Render, Postgres |
| Modern Data Stack com SQL - Parte 2 de 3 | Assistir no YouTube | 1h53min | SQL, dbt, Render |
| Modern Data Stack com SQL - Parte 3 de 3 | Assistir no YouTube | 1h53min | Python, AirFlow, SQL, dbt, Render, Docker |
| Nome | Link | Profissional | Stack |
|---|---|---|---|
| Construindo um Pipeline ETL em Tempo Real | Assistir no YouTube | Caio Machado | Kafka, PostgreSQL e Streamlit |
| Como sair do ZERO com SQL na AWS | Assistir no YouTube | Ghabriel Fiorotti | ETL Parquet S3 Athena e Glue |
| Plataforma com Big Query do Zero | Assistir no YouTube | Alan Lanceloty | Python, Airflow, dbt, soda e docker |
| Qualidade de dados e Contrato de Dados | Assistir no YouTube | Renan Heckert | Pandera e Pydantic |
| Nome | Link | Profissional | Stack |
|---|---|---|---|
| Como sair do ZERO em Observabilidade com Logfire | Assistir no YouTube | Marcelo Trylesinski | Logfire |
| dbt no Airflow - Como melhorar o desempenho do seu deploy de forma correta | Assistir no YouTube | Tatiana Martins | Airflow e dbt-core |
| Construa Data Apps Completos com Briefer | Assistir no YouTube | Lucas Costa | Briefer, SQL e Python |
| Como sair do ZERO no AIRBYTE | Assistir no YouTube | Alan Lanceloty | Airbyte |
| Como criar do ZERO um Lakehouse | Assistir no YouTube | Nilton Ueda | Conceitual |
| Nome | Link | Duração | Stack |
|---|---|---|---|
| Top 5 Projetos de Engenharia de Dados Aprenda ETL, Python e SQL Gratuitamente! | Assistir no YouTube | 14min | Python, DuckDB, Spark, GitHub, Docker |
| O que é CLOUD? Explicação COMPLETA para DADOS (Deploy Python e SQL na AWS, Azure, GCP com Terraform) | Assistir no YouTube | 15min | Python, GitHub, AWS, Azur, GCP, SQL, Docker, Terraform |
| Como fazer o Deploy de Airflow na EC2 AWS | Assistir no YouTube | 14min | AWS, EC2, Airflow |
| Amazon SQS e Rabbit MQ eu preciso mesmo disso? | Assistir no YouTube | 5min | SQS, Rabbit MQ |
| Segredos para economizar com a AWS | Assistir no YouTube | 5min | AWS |
| CRUD, qual a vantagem de usar um ORM? | Assistir no YouTube | 6min | SQL Alchemy, Python, ORM, SQL |
| Como instalar Python em 2024 + Pyenv, PIP, VENV, PIPX e Poetry | Assistir no YouTube | 33min | Pyenv, PIP, VENV, PIPX, Poetry, Python |
| Como instalar Python em 2024 + VSCode, Git e GitHub do Zero | Assistir no YouTube | 33min | Python, VSCode, Git, GitHub |
| O que é o arquivo init.py em Python? Explicado com 4 exemplos | Assistir no YouTube | 14min | Python |
| Nome do Treinamento | Link GitHub | Status | Descrição |
|---|---|---|---|
| Python para Dados | Link | Concluído | Fundamentos de Python para engenharia de dados, com foco em bibliotecas como Pandas. |
| SQL para Analytics Engineer | Link | Concluído | Domine SQL avançado para análise de dados e otimização de consultas complexas. |
| dbt-core | Link | Concluído | Utilize dbt-core para transformação de dados no data warehouse com práticas modernas. |
| Web Scraping Avançado | Link | Concluído | Técnicas avançadas de extração de dados de sites e manipulação de APIs. |
| Cloud para Dados | Link | Em andamento | Serviços de nuvem aplicados à engenharia de dados com AWS, Azure e GCP. |
Caso queira sugerir temas para próximos workshops, abra uma issue.