Web Scraping com NodeJS e Puppeteer

Finalizado 05/02/2021

🚀 Sobre o Projeto

Foram criados exemplos para criação de Web Scraping's utilizando NodeJS e Puppeteer, esses exemplos englobam algumas situações que nos deparamos ao querer utilizar o web Scraping para reunir informações de um site, como tirar prints, extrair dados do site, clicar em botões e fazer navegações, essas são só algumas das funcionalidades que o Puppeteer oferece para manipulação e extração de informações de sites.

📗 Exemplo 1 - Tirar Print do Site

O Exemplo 1 consiste em :

• Abrir o browser em modo background;
• Criar uma nova Aba no browser;
• Acessar a Home page informada;
• Tirar um Screenshot da pagina e armazena na pasta do projeto;
• fechar o Browser;

📕 Exemplo 2 - Extrair Dados da página

O Exemplo 2 consiste em :

• Abrir o browser em modo background;
• Criar uma nova Aba no browser;
• Acessar a Home page informada;
• Percorre aa página buscando o atributo alt ( que é o atributo que possui a descrição dos livros que fica na imagem ) e grava num array result;
• Mostra os dados extraídos no console do terminal;
• Fecha o Browser
• Executa uma função que mostra no console.log() o que retornou do result;

📙 Exemplo 3 - Iteração com Cliques

• Abrir o browser em modo visual;
• Criar uma nova Aba no browser;
• Acessar a Home page informada;
• Dá um clique no elemento informado;
• Executa uma função que faz o aguardo da navegação que aguarda a navegação para outra página;
• Tira um screenShot do browser no momento;
• busca algumas informações do Livro e grava em um array;
• Fecha o browser
• Executa uma função com os valores resgatados do livro e mostra no console.log();

🛠️ Construído com

• Vs Code - IDE
• NodeJS - Ambiente de execução Javascript
• Puppeteer - Puppeteer é uma biblioteca Node que fornece uma API de alto nível para controlar o Chrome ou Chromium sobre o protocolo DevTools.

🎲 Rodando os Exemplos

Serve para todos os exemplos :

# Clone este repositório dos exemplos ( aqui ja possui todos os exemplos )
$ git clone https://github.com/brunoemferreira/NodeJS-WebScraping-Puppeteer.git

Exemplo 1

# Acesse a pasta example1
$ cd example1

# execute o comando
$ node example1.js

Exemplo 2

# Acesse a pasta example2
$ cd example2

# execute o comando
$ node example2.js

Exemplo 3

# Acesse a pasta example3
$ cd example3

# execute o comando
$ node example3.js

Referência

• Fábio Jânio

---

⌨️ com ❤️ por Bruno Eduardo 😊