GYCLOUDATA
Objectif
L'objectif du projet était de mettre en œuvre une architecture Data Mesh sur GCP. Nos principaux objectifs comprenaient :
- Concevoir les domaines de données et des produits distincts : Identifier et structurer des domaines de données indépendants et leurs produits associés.
- Configurer les sources et destinations de données : Définir et connecter les sources de données aux destinations appropriées.
- Mettre en place des pipelines ETL : Mettre en place des pipelines d'extraction, de chargement et de transformation des données avec Airflow.
- Mettre en œuvre un pipeline de Machine Learning : Créer un pipeline ML pour le cycle de vie MLOps avec Kubeflow.
- Garantir la gouvernance des données : Intégrer Datahub pour la gouvernance des données sur Cloud Storage, BigQuery et Airflow.
Plateforme
Nous avons choisi Google Cloud Platform (GCP) pour ce projet en raison de sa robustesse, de sa scalabilité et de la large gamme de services adaptés aux besoins modernes de gestion des données et de machine learning.
Services utilisés
Voici les principaux services GCP utilisés dans ce projet :
- Cloud Run : pour un déploiement et une gestion flexibles des conteneurs.
- API Gateway : Pour la gestion des API et la sécurité des services.
- Looker : pour la visualisation de données et l'analyse avancée.
- Kubeflow : Pour l'orchestration des workflows de machine learning et la gestion du cycle de vie des modèles ML.
- Airflow : Pour automatiser les workflows ETL.
- Cloud Storage : Pour le stockage des données.
- Cloud SQL : Pour les bases de données relationnelles.
- Google Kubernetes Engine (GKE) : Pour l'orchestration des conteneurs et la scalabilité des applications.
- Cloud KMS : Pour la gestion des clés de chiffrement.
Conclusion
Ce projet a démontré notre capacité à mettre en œuvre une architecture Data Mesh complexe sur GCP, en utilisant une gamme de services avancés pour répondre aux besoins de gestion des données et de machine learning. Grâce à une approche décentralisée et orientée produit, nous avons pu créer une infrastructure évolutive et flexible, tout en garantissant une gouvernance rigoureuse des données.
Notre expertise dans l'utilisation de technologies de pointe et notre engagement envers la qualité des données nous ont permis de livrer une solution robuste adaptée aux exigences du paysage numérique actuel.