Module Web Scraping

Module animé par Says BEJAOUI et réalisé à l'école IPSSI.

npm i
npm start

Table des matières

• Installation
• Analyse
  • Erreurs et comparaison
    • Cohérence des attributs
    • Comparaison des enregistrements
    • Statistiques sur les crashs
  • Fusion

Installation

Pré-requis : NodeJS v16.8.0

Cloner le répertoire avant de lancer les commandes suivantes :

npm i
npm start

Analyse

Cette analyse a été réalisé par Ulysse ARNAUD dans le cadre du module Web scraping, animé par Says BEJAOUI, à l'école IPSSI se situant à Paris.

Erreurs et comparaison

Dans le but de traiter les données récupérées du site planecrashinfo et de les comparer avec les données du site d'aviation-safety, il est nécessaire de savoir si les fichiers comportent des erreurs.

Dans un premier temps, un tableau catégorisant par attribut (par exemple, les fatalités ou le nom des avions) sera fait, la fréquence où celui-ci a été présent dans une page. Cela nous permettra de savoir si les pages ont bien les mêmes attributs.

Dans un second temps, on cherchera à comparer l'ensemble des enregistrements de planecrashinfo à celui d'aviation-safety à travers deux tableaux misent côte à côte.

Dans un dernier temps, on cherchera à faire certaines statistiques sur les crashs récoltées entre les deux sites.

Cohérence des attributs

Comparaison des enregistrements

Statistiques sur les crashs

Fusion

A faire