Esta demonstração abrange um pipeline de dados de uma loja de varejo em uma estrutura de ingestão de arquivos JSON e CSV para tabelas Bronze, tratamento e refinamento para tabelas Silver e, finalmente, a combinação destas em tabelas Gold.
Todo o pipeline utiliza as Delta Live Tables, que simplifica o pipeline de dados e facilita o processo de monitoramento e garantia de qualidade de suas tabelas.
- Execute o notebook
02.0-Delta-Live-Table-Preparation
utilizando seu cluster interativo. Este notebook será responsável por:- Descompactar os arquivos de dados brutos que vão emular a chegada de arquivos em seu bucket de ingestão
- Gerar os parâmetros necessários para a criação do seu Workflow Delta Live Tables
- Crie um Workflow de Delta Live Tables inserindo os parâmetros gerados no notebook
02.0-Delta-Live-Table-Preparation
. - Em seu workflow, configure:
- Product edition: Advanced
- Pipeline name:
<exportado pelo Notebook 02.0-Delta-Live-Table-Preparation>
- Notebook libraries:
<exportado pelo Notebook 02.0-Delta-Live-Table-Preparation>
- Configuration
- Inserir dois conjuntos
chave:valor
:json_directory
:<exportado pelo Notebook 02.0-Delta-Live-Table-Preparation>
csv_directory
:<exportado pelo Notebook 02.0-Delta-Live-Table-Preparation>
- Inserir dois conjuntos
- Target:
<exportado pelo Notebook 02.0-Delta-Live-Table-Preparation>
- Storage location:
<exportado pelo Notebook 02.0-Delta-Live-Table-Preparation>
- Pipeline mode:
Triggered
- Autopilot options:
- Enable auto scaling
- Min clusters = 0
- Max clusters = 1
- Use Photon Acceleration: Sim
- Execute seu Workflow.
- Após finalizar seus estudos, retorne ao notebook
02.0-Delta-Live-Table-Preparation
e altere o widgetReset all data
no topo da página paraTrue
e execute novamente a célula 3 do caderno para limpar as tabelas e arquivos de dados brutos descompactados.