Objectifs du Projet
Les principaux objectifs de ce projet étaient doubles :
- Mettre en œuvre CI/CD : Utiliser GitLab et ArgoCD pour automatiser les processus d’intégration et de déploiement.
- Déployer et gérer des clusters : Configurer et gérer des clusters en utilisant Ambari avec une suite de services big data essentiels.
Plateforme et Technologies
Le projet a été exécuté sur une plateforme on-premises hébergée par Scaleway. Les technologies et services suivants étaient essentiels à notre solution :
- Kubernetes : Orchestration des applications containerisées, assurant une haute disponibilité et une évolutivité.
- Docker : Containerisation des applications pour une cohérence entre les environnements de développement et de production.
- GitLab : Gestion des dépôts de code source et des pipelines CI/CD.
- ArgoCD : Automatisation du déploiement des applications sur Kubernetes.
Pour les services big data, nous avons déployé :
- Ambari : Simplification de la gestion des clusters Hadoop.
- Hive : Facilitation de l’entreposage de données et des requêtes de type SQL.
- Zookeeper : Coordination des applications distribuées.
- Hadoop : Stockage et traitement distribués de grands ensembles de données.
- Yarn : Gestion des ressources informatiques dans les clusters Hadoop.
- Kafka : Streaming de données en temps réel.
- Kerberos : Sécurisation des processus d’authentification.
Conclusion
Ce projet a illustré la puissance de la combinaison des pratiques CI/CD avec une gestion robuste des clusters. En utilisant GitLab et ArgoCD pour le CI/CD et en déployant une suite complète de services big data avec Ambari, nous avons atteint un environnement hautement efficace et sécurisé. La mise en œuvre réussie a non seulement rationalisé nos processus de développement et de déploiement, mais aussi amélioré notre capacité à gérer et analyser de grands ensembles de données de manière efficace.
Mettre en œuvre de telles solutions peut améliorer considérablement l’agilité et la fiabilité des processus de livraison logicielle, facilitant l’adaptation aux demandes dynamiques du paysage technologique moderne.