Nous sommes à la recherche d’un Big Data Engineer Databricks Sénior qui sera en charge de l’intégration des données : acquisition, préparation, modélisation et stockage, exposition, . Vous devrez faire preuve d’un état d’esprit à la fois innovant, méthodique, orienté solution (et non problème !), et communiquant.
Responsabilités
Manager des Big Data Engineer et Cloud Engineer
Coacher techniquement les membres de l’équipe : solution et code review sur site, recommandation sur les formations à suivre, certifications à réaliser, …
Analyse des besoins techniques métiers, définition de l’architecture solution et logiciel, référent technique, développement et optimisation, code review, maintenir les pratiques Devops “You build IT, You run IT”, support à recette et mise en production, documentation, et parfois assumer le rôle de Scrum Master,…
Benchmark de solutions et conseil auprès de notre client sur les solutions technologiques à adopter, en lien avec leurs besoins
Partage de connaissances et formations interne
#TalanFrance #LI-LL2
Profil recherché
Issu(e) d’une formation supérieure (école d’ingénieur, master,…)
Vous disposez d’au moins 4 années d’expérience dans le domaine du Big Data (et particulièrement sur le framework Spark), et au moins 6 années d’expérience dans le développement logiciel
Vous maîtrisez le développement logiciel (Scala, Python …), et vous disposez de solides expériences dans la mise en place de pipelines de données
Vous maîtrisez le Framework Spark (idéalement sur Databricks) et son optimisation
Expérience sur une plateforme Cloud serait un plus et idéalement AWS
Expérience sur des flux temps réel serait un plus : Kafka + Spark Streaming
Vous maîtrisez les bases de données SQL et le langage SQL
Vous avez de l'expérience sur les méthodes de stockage : HDFS, S3,,…
Vous avez de bonnes connaissances en devOps : Jenkins, Gitlab, Maven, …
La connaissance des concepts suivants serait un + : DataOps, DataVault, DataMesh..
... Python et SQL . - Compétences Cloud (AWS, Azure ou GCP). - Connaissance des environnements CI/CD et DevOps . - Expérience en orchestration avec Airflow ou Azure Data Factory . - Connaissance des modèles de données et des technologies Spark et Scala est un plus. - La certification Databricks Associate ou Professionnal est appréciée. ...
... Informatique, Data Science ou domaine connexe . - Minimum 3 ans d’expérience en tant que Data Engineer, avec une expertise avérée sur Databricks et les écosystèmes Big Data. Compétences techniques - Databricks (Delta Lake, Spark, Notebooks) - Langages : Python, SQL, Scala - Outils : Apache Spark, Azure Data Factory (ou AWS/Google ...
... formation technique niveau Master à Doctorat , vous possédez au moins 4 années d’expérience sur les sujets Data et une première expérience réussie sur la solution Databricks . Vous êtes reconnu(e) pour votre savoir-faire technique , vos connaissances des technologies Data et BI en général mais surtout Databricks . Vous avez ...
Expert(e) Data Engineer Databricks F/H Description de poste Big Data, Data Science, Data analyse, Data architecture, IA ... Ça n’a pas de secret pour vous? Que vous commenciez votre carrière professionnelle ou que vous soyez spécialiste de l’une de ces disciplines, intégrer notre communauté Data, c’est l’assurance de progresser, ...
... accompagnons nos clients sur l’ensemble de la chaîne de valorisation de la donnée : modernisation des plateformes data, analytics avancée, industrialisation des dataflows, gouvernance et optimisation des performances. Dans le cadre de notre développement, nous recherchons un Data Engineer expert Databricks . Vous rejoindrez ...
... Compétences techniques : - Vous justifiez d'une expérience de 5 ans minimum (en CDI) sur des sujets de Data Engineering, architecture de données ou développement data. - Une expérience significative en cabinet de conseil est un réel atout. - Vous possédez une expertise reconnue en architecture data (Data Lake, Data Warehouse, ...
... principal sera de participer à la construction et à l'expansion de plateformes de données cloud pour répondre aux divers besoins des clients (BI, BI IA, API, IA, Data Ingénierie). - En tant que Data Engineer Senior vous interviendrez plus spécifiquement sur des projets ambitieux autour des data plateformes Databricks. - Vous ...
... nos clients. Missions principales * Être le premier consultant Databricks de l’entreprise en France et contribuer à la création et au développement de l’équipe Databricks française. * Déployer des solutions Databricks de qualité sur des projets clients, couvrant data engineering, architecture, analytics et Lakehouse. * Concevoir ...
... informatique ou équivalent. - Bonus : vous maîtrisez les concepts de modélisation de données , les optimisations Spark , ou avez déjà travaillé sur des plateformes data managées comme Snowflake, Databricks ou DBT . Une expérience sur l’ Infrastructure as Code (Terraform, CloudFormation) ou les outils de CI/CD (GitLab CI, GitHub ...
... l’efficacité opérationnelle via l’exploitation de données complexes en mêlant la Data, le Big Data, l’IA, la GenAI et la Data Science. Au cœur de sa stratégie Data Intelligence, Talan recherche un Lead Data & Cloud Engineer (F/H) capable de mener des projets de Data Engineering sur les technologie Cloud SQL (Databricks, ...