Consultant Data Engineer GCP

4. Description de la prestation et des missions attendues

Le/La Data Engineer sera intégré(e) à l'équipe produit TOPASE NLS et interviendra sur les missions suivantes :

🔹 Conception, développement et optimisation des pipelines de données (GCP)

• Concevoir, développer et maintenir des pipelines robustes et performants pour la collecte, la transformation et le chargement des données depuis diverses sources (Oracle, fichiers, API, etc.) vers BigQuery et autres cibles.
• Exploiter et orchestrer les services Google Cloud Platform (Dataflow, Dataproc, Cloud Composer/Airflow, Pub/Sub, Cloud Storage, BigQuery) afin de construire des architectures data scalables et fiables.
• Automatiser les traitements, gérer les dépendances et orchestrer les jobs de données.
• Optimiser les performances des pipelines ainsi que la consommation des ressources GCP.

🔹 Modélisation et gestion des données

• Participer à la conception et à l'évolution des modèles de données dans BigQuery, en lien avec les Data Analysts et les équipes métiers.
• Garantir la qualité, la cohérence et l'intégrité des données.
• Mettre en œuvre des stratégies de versioning des schémas et de gestion du cycle de vie des données.

🔹 Run opérationnel, maintenance et support N2/N3

• Assurer le support opérationnel de niveau 2/3 de la solution TOPASE (environnement GCP + solution éditeur).
• Développer et maintenir des scripts Bash pour automatiser les tâches récurrentes (supervision, traitement de données, maintenance).
• Rédiger, optimiser et exécuter des requêtes SQL complexes (BigQuery et Oracle) pour l'analyse, le diagnostic d'incidents et la restitution de données.
• Gérer les incidents en collaboration avec les équipes internes et l'éditeur.
• Participer à la qualification des livraisons de patchs éditeur impactant les flux de données.
• Suivre les incidents via le CRM éditeur et contribuer aux comités de suivi.

🔹 Monitoring, logging et alerting

• Mettre en place et maintenir des dispositifs de supervision des flux de données, de la qualité, des performances et de l'utilisation des ressources (Stackdriver, Grafana, Looker Studio).
• Définir et implémenter des alertes permettant la détection proactive des anomalies.
• Concevoir des tableaux de bord pour le suivi des KPI opérationnels et métier.

🔹 Infrastructure as Code (IaC)

• Contribuer à la définition et à l'implémentation de l'infrastructure data via Terraform.
• Garantir la reproductibilité et la traçabilité des environnements (Dev, Recette, Pré-prod, Prod).

🔹 Collaboration et conseil

• Travailler en étroite collaboration avec les équipes Data (Data Scientists, Data Analysts), les Product Owners et les métiers.
• Proposer des solutions techniques adaptées et conseiller sur les bonnes pratiques en Data Engineering.
• Participer aux rituels Agile/Kanban de l'équipe produit.

5. Compétences et expériences requises

5.1 Expertise technique

• Cloud GCP : Expertise confirmée des services data (BigQuery, Dataflow, Cloud Storage, Pub/Sub, Composer/Airflow, Stackdriver, Data Catalog).
• Bases de données : Maîtrise avancée SQL (optimisation, requêtes complexes), expérience sur BigQuery et Oracle 19 (MySQL/PostgreSQL appréciés).
• Scripting : Excellente maîtrise de Bash (indispensable pour le run).
• Systèmes : Bonne maîtrise des environnements Linux (RedHat).
• IaC : Solide expérience avec Terraform.
• CI/CD : Maîtrise d'un outil comme GitLab CI.
• Monitoring/Logging : Stackdriver, Grafana, ELK, Looker Studio.
• Versioning : Git (GitLab).
• Réseaux : Connaissances solides (TCP/IP, HTTP/S, DNS, load balancing, firewall).
• Data Engineering : Maîtrise des concepts ETL/ELT, Data Warehouse, Data Lake et streaming.

5.2 Environnement technique TOPASE NLS

• OS : RedHat Enterprise 9.4
• Cloud : Azure (solution éditeur) & GCP (data, monitoring, pipelines)
• CI/CD : GitLab CI
• IaC : Terraform
• Monitoring : Looker Studio, GANTI, Grafana, ELK
• Bases : Oracle, BigQuery
• Langage : Bash

5.3 Méthodologies et soft skills

• Expérience en environnement Agile (Scrum, Kanban).
• Excellentes capacités d'analyse et de résolution de problèmes, notamment en situation d'incident.
• Autonomie, proactivité et sens de l'amélioration continue.
• Bonnes compétences de communication (français courant, anglais technique).
• Esprit d'équipe et partage des connaissances.
• Sens des responsabilités, notamment en environnement de production.

5.4 Expérience

• Minimum 3 ans d'expérience en tant que Data Engineer, idéalement sur GCP.
• Expérience sur des environnements à forte volumétrie, avec des enjeux de performance, fiabilité et disponibilité.