Objet de la prestation

Le consultant interviendra pour assurer le support opérationnel et contribuer à la fiabilité, la performance et la bonne utilisation des plateformes Big Data.

Missions principales

• Assurer le support de niveau 2 en production (PROD) sur les plateformes Spark, Airflow et Starburst.
• Prendre en charge la gestion des incidents, l'analyse des causes racines (RCA) et la résolution.
• Contribuer à l'optimisation des traitements Spark sur Kubernetes : tuning, configuration, dimensionnement, gestion des ressources.
• Optimiser et fiabiliser l'orchestration Airflow/Astronomer.
• Participer à la gestion des catalogues Starburst (Trino) et au suivi des performances des requêtes distribuées.
• Accompagner les équipes métiers pour un usage efficace, sécurisé et performant des plateformes.
• Maintenir et enrichir la documentation d'exploitation, procédures et guides utilisateurs.
• Participer à l'amélioration continue de l'écosystème : automatisation, standardisation, observabilité, fiabilité.

Compétences techniques attendues

Expertise en environnement Data / Production

• Expérience confirmée en exploitation Big Data en production.

Technologies (au moins 2 maîtrisées)

• Kubernetes / IKS / OpenShift
• Apache Spark
• Apache Airflow / Astronomer
• Starburst (Trino)

Compétences associées

• Maîtrise du support et du troubleshooting sur des services déployés sur Kubernetes (Helm charts, opérateurs…).
• Solide expertise en monitoring / observabilité : logs, métriques, dashboards.
• (Dynatrace, Kibana, Grafana…)
• Bonnes pratiques d'exploitation de traitements distribués.
• Connaissances approfondies en :
  • Tuning Spark
  • Profiling applicatif
  • Gestion fine des ressources (executor, driver, mémoire, shuffle…)
• Compétences en scripting : Bash, Python, Ansible (appréciées).
• Maitrise des chaînes CI/CD : Git, Jenkins, GitLab CI…
• Compétences en sécurité : Hashicorp Vault Secrets, PKI, gestion des certificats.

Compétences transverses

• Excellente capacité d'analyse et de diagnostic d'incidents complexes.
• Rigueur et fiabilité en environnement de production critique.
• Capacités rédactionnelles pour formaliser procédures, guides et rapports.
• Bon relationnel et capacité à accompagner les équipes métiers.
• Français et anglais opérationnel.

Montreal Associates is acting as an Employment Business in relation to this vacancy.