Senior GCP 1

Capgemini

Nous recherchons un Senior Databricks Engineer, disposant d un Bac+5 et de 5 7 ans d exp rience, expert dans la conception, l industrialisation et l optimisation de plateformes Data bas es sur Databricks (Delta Lake, Spark, MLflow).
Une premi re exp rience en tech lead (accompagnement d quipe, design d architecture, code review) est un r el atout.

Vous participerez la conception, l automatisation, l optimisation et la s curisation d environnements Data Lakehouse modernes, tout en contribuant l industrialisation des pipelines Data/ETL, la mise en place de solutions ML/Analytics et l int gration de bonnes pratiques DevOps/DataOps.

5 7 ans d exp rience en Data Engineering ou Big Data, avec une expertise forte sur Databricks et les architectures Lakehouse.

Ma trise confirm e des technologies Databricks :

• Apache Spark (PySpark ou Scala) : optimisation, partitionnement, performance tuning
• Delta Lake : transactions ACID, versioning, optimisation, Z Order, vacuum
• Databricks Jobs, Workflows, Repos, Clusters (all-purpose & job clusters)
• MLflow : tracking, mod les, registry (appr ci )

Environnements Cloud (au moins un) :

• Azure Databricks
• AWS Databricks
• GCP Databricks

Solide exp rience en Data Engineering :

• Pipelines ETL/ELT (batch & streaming)
• Structured Streaming
• Data Quality (expectations, tests, validation)
• Connaissance de l architecture Medallion (Bronze / Silver / Gold)

Infrastructure & CI/CD / DataOps :

• Tr s bonne pratique des outils CI/CD :
  • Azure DevOps, GitHub Actions, GitLab CI ou Jenkins
• Connaissance des frameworks DataOps :
  • Tests automatis s (PyTest, dbx testing )
  • Monitoring & observabilit Data
• Gestion et optimisation des clusters Databricks
• Notions de Terraform pour Databricks (bonus)

Ma trise des langages :

• Python (Pandas, PySpark)
• SQL (avanc )
• Bash
• Scala (appr ci )