DESCRIPTION :
Objectifs du stage
De nombreux indexes aux performances optimisées sont construits et mis à jour quotidiennement par un processus ETL reposant sur l'orchestrateur de flux Airflow, rendant possible des études big data sur des données récentes.
Le référentiel des capteurs installés dans toutes les unités de production du parc nucléaire joue un rôle central dans le requêtage des données par les utilisateurs puisque toute recherche commence par la sélection d'un périmètre de sites, de tranches, de capteurs. Le processus d'indexation de ce référentiel a été développé à l'origine du projet dans l'application Web, écrite en Java. L'objectif est de s'approprier sa logique fonctionnelle et de le développer en tant que traitement Python orchestré dans Airflow en s'assurant que son contenu est correct et complet.
Le/la stagiaire sera intégré(e) dans l'équipe projet et contribuera au développement des flux de données qui alimentent les bases de données, servies par Curiosity. Pour atteindre les objectifs le stagiaire sera amené à travailler sur différentes tâches (en fonction de l'avancée du projet et du stage) :
Analyser le type de données manipulées,
Analyser l'alimentation des bases de données via l'orchestrateur de flux Airflow,
Développer des nouveaux flux dans l'orchestrateur Airflow, en priorité celui d'indexation des données de recherche,
Rédiger les tests et la documentation,
Assurer la mise en production,
Assurer la cohérence de l'environnement de l'orchestrateur,
Améliorer la performance des flux.
Mots-clés : Indexation de données, Elasticsearch, traitement de données, langage Python, Java, SQL, orchestration, Airflow, réacteur nucléaire, Big Data
Code d'emploi : Développeur Perl (h/f)
Domaine professionnel actuel : Programmeurs
Temps partiel / Temps plein : Plein temps
Type de contrat : Stage/Jeune diplômé
Compétences : Java (Langage de Programmation), Airflow, Analyse des Données, Big Data, Systèmes d'Information, Bases de Données, Linux, Elasticsearch, Python (Langage de Programmation), Structured Query Language (SQL), Flux de Données, Applications Web, Traitement des Données, Gitlab, Kibana, Programming Languages, Anglais, Persévérance, Sens de l'Organisation, Minutie ou Attention aux Détails, Motivation Personnelle, Travaux de Saisie, Réacteur Nucléaire, Capteurs, Production d'Énergie
Téléphone :
0130877244
Type d'annonceur : Employeur direct