GYCLOUDATA
Objectifs du projet
Les principaux objectifs de ce projet étaient doubles :
- Mettre en œuvre le CI/CD : Utiliser GitLab et ArgoCD pour automatiser les processus d'intégration et de déploiement.
- Déployer et gérer des clusters : Configurer et gérer des clusters avec Ambari, avec une suite de services Big Data essentiels.
Plateformes et technologies
Le projet a été mené sur une plateforme on-premise hébergée par Scaleway. Les technologies et services suivants ont été essentiels à notre solution :
- Kubernetes : Orchestration des applications conteneurisées, garantissant haute disponibilité et scalabilité.
- Docker : Conteneurisation des applications pour garantir la cohérence entre les environnements de développement et de production.
- GitLab : Gestion des dépôts de code source et des pipelines CI/CD.
- ArgoCD : Automatisation du déploiement des applications sur Kubernetes.
Pour les services Big Data, nous avons déployé :
- Ambari : Gestion simplifiée des clusters Hadoop.
- Hive : Facilitation du data warehousing et des requêtes de type SQL.
- Zookeeper : Coordination des applications distribuées.
- Hadoop : Stockage et traitement distribués de grands volumes de données.
- Yarn : Gestion des ressources de calcul dans les clusters Hadoop.
- Kafka : Streaming de données en temps réel.
- Kerberos : Sécurisation des processus d'authentification.
Conclusion
Ce projet a illustré la puissance de la combinaison entre des pratiques CI/CD et une gestion de cluster robuste. En utilisant GitLab et ArgoCD pour le CI/CD et en déployant une suite complète de services Big Data avec Ambari, nous avons obtenu un environnement hautement efficace et sécurisé. Cette mise en œuvre réussie a non seulement rationalisé nos processus de développement et de déploiement, mais a également amélioré notre capacité à gérer et analyser efficacement de grands volumes de données.
La mise en œuvre de telles solutions peut améliorer significativement l'agilité et la fiabilité des processus de livraison logicielle, facilitant l'adaptation aux exigences dynamiques du paysage technologique moderne.