Data engineer
Il construit les tuyaux : des données fiables, au bon endroit, au bon moment.
Le métier en bref
Le data engineer collecte, nettoie et organise les données de l’entreprise pour qu’elles soient exploitables : tableaux de bord, analyses, modèles d’IA.
Sans lui, les chiffres divergent d’un rapport à l’autre ; avec lui, chaque indicateur a une source unique et vérifiable.
En Afrique de l’Ouest, les données viennent souvent de sources disparates : relevés d’opérateurs mobile money, exports bancaires, fichiers Excel, applications métier. Il les réunit dans un même modèle, avec des règles écrites, pour que finance, opérations et direction lisent les mêmes chiffres.
Les missions
Pipelines de données
Extraire, transformer et charger les données (ETL/ELT) depuis chaque source : par exemple, récupérer chaque nuit les transactions d’une API de paiement et les charger dans PostgreSQL.
Entrepôt de données
Modéliser des tables pensées pour l’analyse : par exemple, une table des commandes reliée aux clients, aux produits et au calendrier.
Qualité des données
Contrôler automatiquement chaque chargement : par exemple, un test dbt qui bloque la mise à jour si des transactions arrivent sans montant ou en double.
Mise à disposition
Alimenter les tableaux de bord et les équipes métier : par exemple, un tableau Metabase du chiffre d’affaires par pays, mis à jour chaque matin.
Flux en temps réel
Traiter les événements au fil de l’eau quand le délai compte : par exemple, un flux Kafka qui signale en quelques secondes une hausse anormale des paiements échoués.
Gouvernance et accès
Documenter les sources, gérer les droits et protéger les données personnelles : par exemple, masquer les numéros de téléphone dans les tables ouvertes aux analystes.
La stack
De la base vers le haut : ce qu'il manie chaque jour.
Langages
- SQL
- Python
Données
- PostgreSQL
- BigQuery
- ClickHouse
- MongoDB
API et intégrations
- Airbyte
- Apache Kafka
- Debezium
Frameworks
- dbt
- pandas
- Polars
- Apache Spark
Outils
- Apache Airflow
- Dagster
- Git
Analyse
- Metabase
- Power BI
- Looker Studio
Un plus : ce qui fait la différence
- Notions de statistiques
- Docker et services cloud
- Connaissance des métiers de la finance et du paiement
- Règles de protection des données personnelles
Le profil
Rigueur des chiffres
Un chiffre faux dans un tableau de bord fait perdre la confiance de toute la direction.
Esprit d’enquête
Quand deux rapports divergent, il remonte la chaîne jusqu’à la source de l’écart.
Sens du métier
Il doit comprendre ce qu’est une commande, un remboursement ou une commission pour bien les modéliser.
Clarté pédagogique
Il explique à des non-spécialistes d’où vient un indicateur et ce qu’il mesure vraiment.
Junior, confirmé, senior : ce qu'on lui confie
Junior
0 à 2 ans
Il écrit des requêtes SQL et des transformations dbt, maintient des pipelines existants et corrige les contrôles de qualité en échec.
Confirmé
3 à 5 ans
Il conçoit les pipelines d’un domaine de bout en bout, modélise l’entrepôt et livre des données à l’heure aux équipes métier.
Senior
6 ans et plus
Il définit l’architecture data, choisit entre traitement par lots et temps réel, fixe les règles de gouvernance et encadre l’équipe data.
La formation
Master en informatique, data ou statistiques, ou école d’ingénieurs. Une première expérience de développeur backend ou d’analyste SQL est un bon point de départ.
Sur nos projets
Des réalisations Wiicode où ce métier est au cœur de la stack.
Les évolutions
Lead data, architecte data, data scientist, head of data.
没有找到您的职业?自荐申请




