Scheda professionale · Dati, IA e sicurezza

Data engineer

Il construit les tuyaux : des données fiables, au bon endroit, au bon moment.

Entri in Wiicode

Questa scheda professionale è disponibile solo in francese.

Le métier en bref

Le data engineer collecte, nettoie et organise les données de l’entreprise pour qu’elles soient exploitables : tableaux de bord, analyses, modèles d’IA.

Sans lui, les chiffres divergent d’un rapport à l’autre ; avec lui, chaque indicateur a une source unique et vérifiable.

En Afrique de l’Ouest, les données viennent souvent de sources disparates : relevés d’opérateurs mobile money, exports bancaires, fichiers Excel, applications métier. Il les réunit dans un même modèle, avec des règles écrites, pour que finance, opérations et direction lisent les mêmes chiffres.

Les missions

  • Pipelines de données

    Extraire, transformer et charger les données (ETL/ELT) depuis chaque source : par exemple, récupérer chaque nuit les transactions d’une API de paiement et les charger dans PostgreSQL.

  • Entrepôt de données

    Modéliser des tables pensées pour l’analyse : par exemple, une table des commandes reliée aux clients, aux produits et au calendrier.

  • Qualité des données

    Contrôler automatiquement chaque chargement : par exemple, un test dbt qui bloque la mise à jour si des transactions arrivent sans montant ou en double.

  • Mise à disposition

    Alimenter les tableaux de bord et les équipes métier : par exemple, un tableau Metabase du chiffre d’affaires par pays, mis à jour chaque matin.

  • Flux en temps réel

    Traiter les événements au fil de l’eau quand le délai compte : par exemple, un flux Kafka qui signale en quelques secondes une hausse anormale des paiements échoués.

  • Gouvernance et accès

    Documenter les sources, gérer les droits et protéger les données personnelles : par exemple, masquer les numéros de téléphone dans les tables ouvertes aux analystes.

La stack

De la base vers le haut : ce qu'il manie chaque jour.

  1. Langages

    • SQL
    • Python
  2. Données

    • PostgreSQL
    • BigQuery
    • ClickHouse
    • MongoDB
  3. API et intégrations

    • Airbyte
    • Apache Kafka
    • Debezium
  4. Frameworks

    • dbt
    • pandas
    • Polars
    • Apache Spark
  5. Outils

    • Apache Airflow
    • Dagster
    • Git
  6. Analyse

    • Metabase
    • Power BI
    • Looker Studio
Un plus : ce qui fait la différence
  • Notions de statistiques
  • Docker et services cloud
  • Connaissance des métiers de la finance et du paiement
  • Règles de protection des données personnelles

Le profil

  • Rigueur des chiffres

    Un chiffre faux dans un tableau de bord fait perdre la confiance de toute la direction.

  • Esprit d’enquête

    Quand deux rapports divergent, il remonte la chaîne jusqu’à la source de l’écart.

  • Sens du métier

    Il doit comprendre ce qu’est une commande, un remboursement ou une commission pour bien les modéliser.

  • Clarté pédagogique

    Il explique à des non-spécialistes d’où vient un indicateur et ce qu’il mesure vraiment.

Junior, confirmé, senior : ce qu'on lui confie
  1. Junior

    0 à 2 ans

    Il écrit des requêtes SQL et des transformations dbt, maintient des pipelines existants et corrige les contrôles de qualité en échec.

  2. Confirmé

    3 à 5 ans

    Il conçoit les pipelines d’un domaine de bout en bout, modélise l’entrepôt et livre des données à l’heure aux équipes métier.

  3. Senior

    6 ans et plus

    Il définit l’architecture data, choisit entre traitement par lots et temps réel, fixe les règles de gouvernance et encadre l’équipe data.

La formation

Master en informatique, data ou statistiques, ou école d’ingénieurs. Une première expérience de développeur backend ou d’analyste SQL est un bon point de départ.

Les évolutions

Lead data, architecte data, data scientist, head of data.

Non trova la Sua professione?Candidatura spontanea