Comment sélectionner un Data Engineer Spark et Databricks ?
La présence de Spark ou Databricks sur un CV ne suffit pas. Une qualification pertinente doit relier les outils aux architectures, aux volumes, aux contraintes de production et aux résultats obtenus.
Commencer par le besoin, pas par la technologie
Avant d’évaluer un candidat, il faut préciser la nature des sources, les volumes, la fréquence de traitement, les délais attendus, la plateforme Cloud et les responsabilités confiées. Un besoin de développement de pipelines n’exige pas le même profil qu’une refonte de Lakehouse ou qu’une optimisation Spark en production.
Les cinq dimensions à évaluer
1. Architecture et chaîne de données
Le consultant doit pouvoir expliquer le parcours complet de la donnée : ingestion, stockage, transformation, orchestration, contrôle et exposition. Demandez-lui de décrire une architecture qu’il a réellement mise en œuvre et les raisons de ses choix.
2. Maîtrise de Spark
Un profil expérimenté sait expliquer les causes d’un shuffle coûteux, le partitionnement, la gestion mémoire, les jointures, le skew et les techniques utilisées pour diagnostiquer un traitement lent. L’objectif n’est pas de réciter des options, mais de relier un symptôme à une méthode d’analyse.
3. Expérience Databricks
Vérifiez l’usage concret de Delta Lake, des notebooks, des jobs, des clusters, des workflows, de la sécurité et du suivi des coûts. La profondeur attendue dépend du rôle : développement, administration de plateforme ou architecture.
4. Qualité et industrialisation
Les pipelines doivent être testables, observables et rejouables. Interrogez le candidat sur les contrôles de qualité, la gestion des erreurs, l’idempotence, la reprise, le versionnement et les chaînes CI/CD.
5. Communication et compréhension métier
Un Data Engineer travaille avec les producteurs, les consommateurs, les architectes et les équipes d’exploitation. Il doit clarifier une règle, signaler un risque et rendre compréhensible l’impact d’un choix technique.
Questions utiles en entretien
- Décrivez un incident de performance Spark que vous avez diagnostiqué et corrigé.
- Comment gérez-vous les doublons, les arrivées tardives et les reprises de traitements ?
- Quels contrôles placez-vous entre les couches bronze, silver et gold ?
- Comment choisissez-vous le partitionnement d’une table Delta ?
- Quels indicateurs suivez-vous après la mise en production d’un pipeline ?
Construire une décision argumentée
La décision doit distinguer les compétences indispensables, celles qui peuvent être acquises rapidement et les éventuels points de vigilance. Une présentation utile explique pourquoi le parcours du consultant correspond au contexte, au niveau d’autonomie et aux responsabilités attendues.