Description de l'offre

Lead Data Orchestration Engineer Airflow (H/F) à Brognard, France

DGTL Performance

  • À distanceTravaillez de n'importe où

55k € a 60k €/an

Brognard, France

Rejoignez une grande organisation du secteur automobile en tant que Lead Data Orchestration Engineer, en charge du pilotage et de l'optimisation d'une plateforme d'orchestration Apache Airflow hébergée sur AWS MWAA. Vous porterez une mission stratégique de transformation technique, alliant optimisation architecturale, sécurisation de l'infrastructure, et autonomisation des équipes autour d'une plateforme bancaire de données critiques. Notre client gère des pipelines de données complexes traversant 9 pays européens, avec une volumétrie considérable (200+ DAGs en production). Suite à un audit technique approfondi en début 2026, la plateforme a été stabilisée et entre désormais dans une phase d'optimisation structurelle. Vous serez au cœur de cette évolution, responsable de faire évoluer les mécanismes d'orchestration existants, de renforcer la robustesse face à la charge et aux défaillances, d'étudier les alternatives architecturales, et de structurer les équipes pour une exploitation en autonomie long terme. La mission s'organise autour de quatre axes complémentaires :

  • Axe 1 - Optimisation architecturale : faire évoluer la DAG Factory existante, migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets), optimiser les performances au parse-time et runtime, et mettre en place la validation automatisée en CI/CD (parse test, linting, tests d'intégration).
  • Axe 2 - Sécurisation et résilience : implémenter une politique de rotation des secrets, déployer le routage différencié des alertes par type d'incident et criticité, piloter le capacity planning et le tuning de la plateforme (pools, scaling, rétention logs), renforcer l'isolation réseau et durcir la configuration, finaliser et maintenir les runbooks d'incidents.
  • Axe 3 - Étude et migration vers une infrastructure cible : l'audit a mis en évidence les limites structurelles d'AWS MWAA (contraintes de scaling, flexibilité limitée, coûts). Vous serez chargé de benchmarker les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect ou autres solutions), de produire une recommandation argumentée avec analyse coûts/bénéfices et risques, et de piloter la migration vers l'infrastructure retenue si pertinent.
  • Axe 4 - Autonomie des équipes : lancer et piloter un programme de formation sur l'orchestration destiné aux équipes Dev et Ops (environ 10 personnes), constituer une méta-équipe plateforme avec vision unifiée Dev + Ops sous leadership technique commun, accompagner l'évolution des profils (Dev vers Data Engineers, Ops vers DataOps), et évaluer l'internalisation progressive de profils techniques clés.
Vous travaillerez dans un environnement technique mature et ambitieux, au sein d'une organisation valorisant l'excellence technique, la rigueur architecturale et le mentorat. Vous aurez également la responsabilité de concevoir et faire appliquer des standards techniques robustes (code reviews, patterns, conventions), et de piloter des programmes d'optimisation complexes avec priorisation, suivi et reporting. Responsabilités :
  • Piloter l'optimisation et l'évolution des mécanismes d'orchestration Airflow pour le passage à l'échelle et la réduction des coûts d'exploitation
  • Faire évoluer la DAG Factory existante en enrichissant les patterns, en améliorant la maintenabilité et en validant automatiquement les DAGs en CI/CD
  • Implémenter et maintenir une stratégie complète de sécurisation : rotation des secrets, routage d'alertes par criticité, isolation réseau, durcissement de configuration
  • Étudier et recommander l'infrastructure cible pour l'orchestration, en analysant les alternatives à AWS MWAA et en piloter la migration
  • Piloter le capacity planning, le tuning de performance (pools, scaling, rétention logs) et la résilience globale de la plateforme
  • Concevoir et faire appliquer les standards techniques et les bonnes pratiques d'orchestration auprès de l'ensemble des équipes
  • Lancer et piloter un programme de formation et de mentorat auprès des équipes Dev et Ops pour accroître leur autonomie
  • Accompagner la montée en compétence des profils vers des rôles Data Engineer et DataOps
  • Garantir la continuité de service lors des transitions et migrations techniques
Télétravail : à déterminer Localisation : Sochaux #PMEjob.fr

Offres similaires

Plus d'offres comme ce poste

  • Sur site
  • Contrat
... contraintes réelles du client (legacy, on-premise, données sensibles). Les enjeux concret de ton poste : - Audit & Assessment — Phase de découverte - Architecture data & modernisation - Industrialisation & optimisation - Leadership technique & mentoring - Innovation & veille Pourquoi MP Data - Rôle de conseil : Tu n’es pas qu’un ...

Boulogne-Billancourt, France

  • Sur site
  • Temps plein
... et l’exposer de la manière la plus efficace aux data scientists. Nous sommes une quinzaine de collaborateurs au sein de l’équipe, avec des profils mixtes AI / Data Engineering / Software. Les enjeux du poste En tant que Data Engineer au sein de l’équipe AI Platform, vous travaillerez notamment à : → Adapter notre stack technique ...

Paris, France

  • À distance
  • Temps plein
  • Contrat
Le poste : Rejoignez une grande organisation du secteur automobile en tant que Lead Data Orchestration Engineer, en charge du pilotage et de l'optimisation d'une plateforme d'orchestration Apache Airflow hébergée sur AWS MWAA. Vous porterez une mission stratégique de transformation technique, alliant optimisation architecturale, ...

Sochaux, France

  • Temps plein
  • Contrat

40k € a 45k €/an

Dans le cadre du renforcement de notre équipe Data Capabilities, nous recherchons un(e) Data Quality Lead pour accompagner la structuration de notre gouvernance Data et l'amélioration continue de la qualité des données. Vos missions : - Définir et déployer un framework de Data Quality (standards, processus, KPI, contrôles). ...

Marseille, France

  • Temps plein
Le poste : Dans le cadre du renforcement de notre équipe Data Capabilities, nous recherchons un(e) Data Quality Lead pour accompagner la structuration de notre gouvernance Data et l'amélioration continue de la qualité des données. Vos missions : - Définir et déployer un framework de Data Quality (standards, processus, KPI, ...

Marseille, France

  • Gestion de projet
... clients , vous intervenez selon votre expertise et votre parcours sur des projets Data & IA à forts enjeux, par exemple en tant que Lead Data Engineer, Architecte Data/IA, Expert Data/IA ou Chef de Projet Data & IA . Vous pourrez notamment : - concevoir et faire évoluer des architectures et plateformes Data & IA ; - accompagner ...

Lyon, France

  • Temps plein
Le poste : Au sein d'un environnement industriel spécialisé dans la conception, le développement et l'industrialisation de dispositifs médicaux et de solutions de conditionnement pharmaceutique, vous intervenez sur des projets à forte exigence technique et réglementaire.

Grenoble, France

  • À distance
  • Hybride
  • Temps plein
  • Contrat
  • Vente

$25 USD

... orchestration experience. You have operated, integrated or replaced an orchestrator or a substantial automation setup that other teams depend on. - Depth in data engineering, platform engineering / infrastructure automation, or AI / MLOps. You bring expertise in one area and can learn across the others. - Ownership and ...

lieu-dit France, France

  • Temps plein
  • Contrat

50k € a 60k €/an

... renforce son équipe infrastructure. Ses services reposent sur des data centers où la disponibilité et la performance du réseau ne se négocient pas. Il recherche un Lead Réseaux capable de porter la vision technique tout en restant les mains dans l'infra. Ce que tu vas faire Tu es le référent technique du réseau data center. Tu ...

Cesson-Sévigné, France

  • Informatique
  • Fullstack
... Relex durant et après la bascule. - Documenter la nouvelle infrastructure d'orchestration. Compétences requises : Environnement GCP (Cloud Composer, GKE), orchestration de flux (Airflow, Argo Workflows), développement Python, SQL, et notions de Prompt Engineering / AI Agents. MISSION 2 : Industrialisation de l'outillage ...

Ronchin, France