Skip to content
This repository has been archived by the owner on Sep 15, 2024. It is now read-only.

Pull datas from opt-temps-attente-agences-api and store data in various systems

License

Notifications You must be signed in to change notification settings

opt-nc/opt-temps-attente-agences-camel

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

58 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

❔ A propos

Ce repository s'inscrit dans le cadre d'un projet conjoint OPT-NC et l'UNC.

  • Le sujet est fourni par l'OPT-NC
  • La réalisation est assurée par les étudiants avec en support l'OPT

ℹ️ Contexte OPT

L'OPT utilise Kafka pour partager et transformer un volume toujours plus important entre ses métiers. Nous souhaitons maintenant nous attaquer à diverses manières de consommer ces données à moindre effort... puis de les valoriser via des solutions dédiées à la chose.

image

Les résultats de cette expérimentation seront recyclés de manière opérationelle, tant sur les méthodes utilisées que sur les analyses de données produites.

🤹🏻 Compétences

  • Data Engineering
  • Data Scientist

🧑‍🤝‍🧑 Equipe

🎯 Pitch

Via des outils existants et industriels, configurer une intégration idéalement basée sur de la configuration de données qui :

  1. Via Apache Camel Consomme les donées de l'API des temps d'attente en agence
  2. Via une route Camel, pousser les données du Poll dans un csv
  3. Via un Poll régulier depuis Camel, pousser les données dans un topic dédié Kafka
  4. Via Camel, consommer les messages et les pousser dans une instance OpenSearch
  5. Construire un ou des tableaux de bord, utiliser les fonctionnalités de géolocalisation, et explorer les fonctionnalités IA et ML d'OpenSearch
  6. BONUS* : Via Camel, consommer les messages Kafka et les pousser dans une instance Apache Spark
  7. Investiguer les capacités de Open Search Data Prepper 2.0

🗺️ Architecture

Un draft macro de l'architecture cible envisagée :

image

ℹ️ NB

  • Les interactions avec Camel passeront idéalement par JBang!
  • Une démo KillerCoda sera livrée et intégrée aux cours de l'OPT-NC... et pourra servir de support lors des démos, voire lors de la soutenance
  • Les images Docker ou docker-compose seront utilisées pour dépoyer Kafka, OpenSearch, Spark, ...

📑 Ressources