Le Data Engineer est le maître d’œuvre de la conception et du développement des infrastructures et outils dédiés au traitement des volumes massifs de données, facilitant notamment le déploiement des solutions d’Intelligence Artificielle. Sa mission centrale est d’orchestrer la collecte des données et d’assurer leur disponibilité au sein de l’organisation, constituant ainsi un maillon essentiel dans la chaîne de valeur des données.
Bloc de compétences 1 : Concevoir un projet d’architecture technique de gestion de données
- Identifier les besoins en architecture de gestion de données
- Élaborer et exercer un système de veille technologique et réglementaire
- Exploiter la veille au sein de son organisation
- Définir le périmètre du projet de gestion données
- Émettre des recommandations auprès de sa hiérarchie et de membres d’une équipe pluridisciplinaire
Bloc de compétences 2 : Elaborer une architecture technique de gestion de données
- Collecter les données structurées et non structurées de diverses sources utilisables
- Élaborer des solutions de stockage
- Concevoir les procédures d’extraction, de traitement et de stockage des données de l’architecture
- Transformer les données en un format approprié pour l’analyse
- Analyser les données
- Automatiser les circuits de collecte, de traitement et de stockage des données
- Développer un algorithme d’intelligence artificielle
Bloc de compétences 3 : Déployer une solution d’analyse de données massives intégrant l’intelligence artificielle
- Concevoir une interface de programmation entre les composants de la solution
- Conteneuriser les composants de l’architecture
- Déployer le modèle dans un environnement de production
- Orchestrer les services de la solution
- Contrôler la mise en production de la solution
- Automatiser le déploiement de nouvelles versions de la solution et son monitoring
Bloc de compétences 4 : Piloter un projet d’architecture technique de gestion de données
- Définir la structure organisationnelle du projet d’architecture technique de gestion de données
- Encadrer le développement du projet d’architecture de données
- Gérer le budget du projet
- Communiquer l’avancement et les résultats du projet auprès des parties prenantes et de sa hiérarchie
- Evaluer la performance du projet de Data Engineering
- Former les utilisateurs finaux de la solution