Releases: AdautoDCJunior/spark-introducao
Releases · AdautoDCJunior/spark-introducao
Class 6
Nessa aula aprendemos:
- Como criar arquivos CSV com o conteúdo de DataFrames do Spark;
- Sobre o projeto Apache Parquet;
- Como criar arquivos PARQUET e ORC com o conteúdo de DataFrames do Spark;
- Como configurar o particionamento de arquivos no Spark.
Full Changelog: 0.5.0...0.6.0
Class 5
Nessa aula aprendemos:
- Gerar agrupamentos com o método
groupBy
; - Criar sumarizações com os métodos
agg
esummary
; - Utilizar o método
join
para fazer junções entre DataFrame com o uso de chaves de ligação; - Usar o método
sql
para escrever queries com expressões SQL tradicionais.
Full Changelog: 0.4.0...0.5.0
Class 4
Nessa aula aprendemos a:
- Selecionar colunas específicas de um DataFrame.
- Criar colunas em um DataFrame.
- Ordenar os dados de um DataFrame.
- Fazer filtros com as colunas de um DataFrame.
- Fazer busca por conteúdos específicos em uma coluna de um DataFrame.
Full Changelog: 0.3.0...0.4.0
Class 03
Nessa aula aprendemos:
- Como alterar os nomes das colunas de um DataFrame.
- Como identificar os tipos de variáveis em um DataFrames.
- Os tipos de dados suportados pelo Spark.
- Algumas funções básicas do Spark e como aplicá-las.
- Como fazer algumas conversões de tipo.
Full Changelog: 0.2.0...0.3.0
Class 02
Nessa aula aprendemos:
- Como iniciar uma SparkSession.
- Conhecemos os métodos e atributos básicos da classe SparkSession.
- Como criar Spark DataFrames.
- Como carregar conteúdo de arquivos CSV particionados em uma DataFrame do Spark.
Full Changelog: 0.1.0...0.2.0
Class 01
Nessa aula:
- Conhecemos o projeto Apache Spark.
- Falamos sobre a interface para Apache Spark em Python.
- Conhecemos os recursos do Spark.
- Aprendemos a configurar o Spark no sistema operacional Windows.
- Vimos como utilizar o Spark em nosso notebook do Colab.
Full Changelog: https://github.com/AdautoDCJunior/spark-introducao/commits/0.1.0