Data engineer
Le ou la data engineer prépare en amont les données pour que le data scientist puisse les analyser. Il les collecte, les stocke et organise leur mise en production.
Secteurs d’activités
Centres d’intérêts
Que fait le/la Data engineer
Le data engineer, à l'instar de l'architecte big data, est un ingénieur spécialisé dans la conception de solutions de récupération et d’exploitation de gros volumes de données ou big data. Expert en identification de données, il est garant de la pertinence et de la qualité des données ainsi que du respect des bonnes pratiques et de la fluidité des processus. Responsable de l’infrastructure des données, il est chargé des processus de collecte, de stockage et de modélisation des données pour que celles-ci soient faciles d‘accès et prêtes à l’analyse par les data scientists et les data analysts. Il travaille en étroite relation avec l'architecte big data qui lui est plus orienté sur la conception de solutions.
Le data engeneer automatise l’acquisition de données provenant de différentes sources (création des pipelines d’acquisition), les collecte et les agrège dans une data warehouse (base de données relationnelle) sur serveur ou sur le cloud (test d’intégration, mise en place et maintenance des outils d’automatisation) et gère les bases de données de stockage.
Son rôle est ensuite de nettoyer, de consolider et de structurer ces données à l’aide d’outils et d’algorithmes (création de tableaux de bord, intégration de modèles statistiques).
Le data engineer doit posséder un large éventail de compétences techniques (langages de développement IA, requêtes, base de données, stockage, analyse de données, cloud computing, machine learning, deep learning, IA, DevOps..).
Pour l’industriatisation des modèles de machine learning, il doit avoir des connaissances en statistiques et mathématiques.
Face à l’explosion du big data et notamment des technologies comme l’Iot (Internet of Things) et l’IA, le data engineer est un profil très recherché.
Ou travailler ?
Les data engineer peuvent être recrutés directement par les entreprises ou travailler au sein de société de services.
Quel salaire ?
Salaire brut mensuel débutant : à partir de 3 000 €.
Comment devenir Data engineer ?
Le data engineer a un niveau bac + 5 (master ou diplôme d’ingénieur, Msc) en informatique, data sciences, big data, ou en statistiques.
Plus de détails sur les masters : https://www.monmaster.gouv.fr/
Un niveau bac + 2 ou bac + 3 avec une première expérience en développement et manipulation de données peut également convenir.
Quelles sont les évolutions de carrières ?
Le data engineer peut faire le choix de se spécialiser (IA, techniques de stream ou “temps réel”). Il peut évoluer vers les fonctions d’architecte big data, de tech lead big data et à terme vers des postes de directeur des systèmes d'information.
Les liens utiles à consulter
Nous rencontrer
Le réseau Info jeunes est accessible à tous les publics (collégiens, lycéens, étudiants, salariés, demandeurs d'emploi...) mais aussi à leurs parents, à leurs enseignants et à tous les travailleurs sociaux. L'accès est libre et gratuit.
