Disponibilizar um ambiente Hadoop com Hive e Spark configurados, simulando um mini cluster com 3 nós de processamento e armazenamento.
O "mini cluster" está configurado para:
- Docker e Docker Compose (Inclusos no Docker Desktop)
Primeiro, efetue o build da imagem base com o comando abaixo:
docker build -t hadoop-base:0.1.0 .\00_hadoop-base\
Em seguida, utilize o comando abaixo para subir os contêineres:
docker-compose -f "docker-compose.yml" up -d
Serão iniciados 11 contêineres, conforme a ilustração:
- Namenode: http://localhost:50070/
- Datanode 1: http://localhost:50075/
- Datanode 2: http://localhost:50076/
- Datanode 3: http://localhost:50077/
- Resource Manager: http://localhost:8088/
- History Server: http://localhost:8188/
- Hue: http://localhost:8888/
- HiveServer2 UI: http://localhost:10002/ (Este serviço leva alguns segundos para iniciar)
Utilize o ambiente para fins didáticos! Esse ambiente não possui as configurações recomendadas/adequadas para produção.
Utilize o comando abaixo:
docker-compose -f "docker-compose.yml" down