Skip to content

Latest commit

 

History

History
84 lines (70 loc) · 2.84 KB

Readme.md

File metadata and controls

84 lines (70 loc) · 2.84 KB

Airflow with WSL 2

Possíveis problemas

  1. Feature Microsoft-Windows-Subsystem-Linux não esta habilitada, é necessário executar o comando com o powershell em modo administrador. 
    dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
  2. Feature VirtualMachinePlatform não esta habilitada, é necessário executar o comando com o powershell em modo administrador. 
    dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

Preparação do WSL + Ubuntu

  1. Instalação do WSL: https://learn.microsoft.com/pt-br/windows/wsl/install
  2. Instalação do Ubuntu: com o powershell em modo administrador, executar o comando: 
    wsl --install -d <Distribution Name>
    • <Distribution Name> é o nome do Ubuntu, ficando wsl --install -d Ubuntu
    • Após executar o comando acima, cadastre um user e pass para logar na máquina e em seguida desligue-o com o comando wsl --shutdown ou exit se estiver dentro da máquina.
  3. Definir a versão do WSL para o Ubuntu: com o powershell em modo administrador, executar o comando: 
    wsl --set-version Ubuntu 2
  4. Iniciar novamente a máquina com o comando wsl --install -d Ubuntu
  5. Atualizar a máquina com a versão mais recente: sudo apt-get update -y && sudo apt-get upgrade -y
  6. Instalação do python 3.9: 
    sudo apt install software-properties-common

    sudo add-apt-repository ppa:deadsnakes/ppa

    sudo apt install python3.9 -y
    Verificar se a instalação do python 3.9 foi realizada com sucesso 
    python3.9 --version 

    sudo apt install python3.9-venv -y

Preparação do Airflow no Ubuntu

# Criar uma pasta e acessa-la
mkdir data-quality && cd data-quality
# Criar ambiente virtual
python3.9 -m venv venv

# Ativar ambiente virtual - Linux
source venv/bin/activate

# Upgrade pip
python3.9 -m pip install --upgrade pip

# Instalação das libs
pip install apache-airflow[amazon,jdbc,celery,virtualenv,google]==2.2.2 -c "https://raw.githubusercontent.com/apache/airflow/constraints-2.2.2/constraints-3.7.txt"
# Iniciar o airflow, será criada uma pasta airflow no Ubuntu
airflow standalone

# Alterar configurações do airflow
sudo vim airflow/airflow.cfg 

# Abrir um outro powershell e digitar somente `wsl`, ir até a pasta em que as dags ficará armazenada na máquina local. A pasta data-quality foi criada na máquina local.
Exemplo: C:\dev\data-quality 

# Digitar `pwd` e copiar o caminho
/mnt/host/c/dev/data-quality

# Voltar para o powershell que foi aberto o arquivo airflow.cfg e realizar as seguintes alterações
dags_folder = /mnt/host/c/dev/data-quality/dags
load_examples = False
default_timezone = America/Sao_paulo