docker-compose.airflow-scaling-local.yml

version: "3.8"
services:
  ######################################################
  # DATASET
  ######################################################
  dataset:
    build: ./docker/dataset
    image: dataength/dataset:skooldio
    restart: always
    container_name: dataset
    environment:
      - POSTGRES_USER=postgres
      - POSTGRES_PASSWORD=postgres
      - POSTGRES_DB=breakfast
      - PGDATA=/var/lib/postgresql/data/pgdata

  ######################################################
  # DATABASE SERVICE
  ######################################################
  airflow-metastore:
    image: postgres:11.4-alpine
    restart: always
    container_name: airflow-metastore
    volumes:
      - ./mnt/postgres:/var/lib/postgresql/data/pgdata
    environment:
      - POSTGRES_USER=airflow
      - POSTGRES_PASSWORD=airflow
      - POSTGRES_DB=airflow_db
      - PGDATA=/var/lib/postgresql/data/pgdata
    healthcheck:
      test: ["CMD", "pg_isready", "-q", "-d", "airflow_db", "-U", "airflow"]
      timeout: 45s
      interval: 10s
      retries: 10

  ######################################################
  # AIRFLOW
  ######################################################
  airflow:
    build: ./docker/airflow
    image: dataength/airflow:skooldio
    restart: always
    container_name: airflow
    depends_on:
      - airflow-metastore
    environment:
      AIRFLOW__CORE__EXECUTOR: LocalExecutor
      AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@airflow-metastore:5432/airflow_db
      AIRFLOW__CORE__FERNET_KEY: "EMFOyePzhgJ1OOznc75nT6tWlq4Bk5Un3J8jgOyverQ="
      AIRFLOW__CORE__DAGS_ARE_PAUSED_AT_CREATION: "true"
      AIRFLOW__CORE__LOAD_EXAMPLES: "false"
      AIRFLOW__WEBSERVER__EXPOSE_CONFIG: "true"
    volumes:
      - ./mnt/airflow/airflow.cfg:/usr/local/airflow/airflow.cfg
      - ./mnt/airflow/dags:/usr/local/airflow/dags
    ports:
      - 8080:8080
    healthcheck:
      test: ["CMD", "nc", "-z", "airflow", "8080"]
      timeout: 45s
      interval: 10s
      retries: 10

  ######################################################
  # EMAIL SERVICE
  ######################################################
  mailhog:
    image: mailhog/mailhog
    container_name: mailhog
    ports:
      - "1025:1025"
      - "8025:8025"

######################################################
# NETWORK
######################################################
networks:
  default:
    name: airflow-network