#11 Data Engineer, un poste clé à l’ère du Big Data

Éric, quel est ton parcours professionnel ?  

J’ai suivi une formation en tant qu’ingénieur logiciel dans l’ENIB à Brest. J’ai effectué un stage de fin d’études en tant que consultant développeur chez Airbus DS dans le Sud de la France sur du développement java. Après avoir obtenu mon diplôme, j’ai été embauché chez Sogeti puis j’ai rejoint à nouveau les équipes Airbus DS en tant que consultant. 

En 2018, je suis arrivé au Luxembourg et j’ai rejoint l’entreprise 42 consulting en tant que consultant dans l'une des principales compagnies d'assurance luxembourgeoises, Foyer Assurance Luxembourg en tant que Data engineer. 

Enfin, c’est en 2019 que Technology Partner m’a embauché en tant que consultant, toujours dans cette même compagnie d'assurance luxembourgeoise, Foyer Luxembourg en tant que Data engineer.  

En tant que consultant informatique, quelles sont tes missions quotidiennes chez ton client ?  

Principalement, mes missions sont : 

• du développement logiciel (principalement scala) 
• de l’architecture logiciel 
• de l’analyse de bases de données  
• du support  
• de la formation 

Selon toi, pour quelles raisons être Data Engineer est un avantage à l’ère du numérique ?   

Le principal avantage est que la grande majorité des entreprises ont compris qu'elles pouvaient utiliser les données stockées pour améliorer leurs processus et leurs produits, de ce fait, elles se sont engagées dans des projets de mise en avant de ces données. 

Pour interpréter ces données, des data scientists et analystes sont appelés pour trouver des tendances sur les données. Par exemple : le type de contrat le plus plébiscité / les sinistres les plus courants 

Mais il faut pouvoir connecter les systèmes qui stockent les données jusqu'aux programmes produits par les analystes. C'est là qu'intervient le data engineer, il va devoir mettre en place et maintenir toute la « tuyauterie » qui va des bases des données jusqu'au programme des analystes.  

Globalement, dans son travail il devra : 

• Analyser les bases de données, 
• Mettre en place des zones de stockage intermédiaires (datalake et datawarehouse), 
• Mettre en place les outils et liens entre chaque zone du système, 
• Industrialiser les programmes des analystes pour les insérer dans le pipeline, 
• Monitorer l'exécution de tous les traitements, etc. 

Quelles sont les compétences requises pour être un bon Data Engineer ?  

Selon mon point de vue :  

• Technique
  • Connaitre 1 ou 2 langages de programmation (java, scala, python) 
  • Maîtriser les bases de données SQL et NoSQL 
  • Connaître le fonctionnement des systèmes distribués et un framework (MapReduce, Spark ...) 
  • Connaître un outil d'orchestration (airflow, oozi ...)
    
    
• Techniques optionnelles
  • Des connaissances en data analysis (statistique avancée) 
  • Des connaissances en machine learning 
  • Comment faire des tableaux de bord 

• Compétences 
  • Savoir collaborer avec des équipes métiers et techniques 
  • Pouvoir vulgariser le fonctionnement des systèmes. 

Dans quel type de société peut-on travailler lorsque l’on fait ton métier ? 

Toute entreprise qui analyse ses données pour connaître l’évolution de ses services et produits. Au Luxembourg, ce sont principalement les entreprises de la place (assurance et finance) qui recherchent le plus de data engineers. 

Ecrit par Eric Schafer & Charline Pennisi