Objectifs du Projet
Les objectifs principaux de ce projet étaient :
- Proposer une Architecture Cible : Concevoir une architecture adaptée pour la migration des bases de données SQL on-premises vers Azure.
- Estimation Finops et Coûts : Évaluer les coûts de Build et Run associés à la migration.
- Migration Transparente : Assurer une transition fluide des bases de données SQL et des cubes SSAS vers Azure.
Plateforme et Technologies Utilisées
La migration a été réalisée en utilisant les services cloud d’Azure. Les technologies suivantes ont été cruciales pour le succès de ce projet :
- Azure SQL Managed Instances : Pour héberger les bases de données SQL migrées.
- Azure Analysis Services : Pour la modélisation et l’analyse des données.
- Microsoft Power BI : Pour la visualisation des données.
- VPN Gateway : Pour sécuriser les communications entre les environnements on-premises et Azure.
Nous avons également utilisé :
- Azure Data Factory (ADF) : Pour automatiser et optimiser les processus de migration de données.
- Self-hosted Integration Runtime (SHIR) : Pour permettre l’intégration des données entre les environnements on-premises et Azure.
- SQL Server Integration Services (SSIS) : Pour orchestrer les flux de travail de migration.
- Azure Data Lake Storage Gen2 : Pour le stockage scalable des données.
Conclusion
Cette initiative, en mettant en place un processus de CI/CD avec Gitlab et ArgoCD sur Kubernetes, et en déployant des clusters Ambari pour prendre en charge les composants Hadoop, offre une solution complète et automatisée pour le développement et le déploiement d’applications Big Data. Cette approche permettra à notre organisation de bénéficier d’une infrastructure flexible et scalable pour répondre à nos besoins en analyse de données de manière efficace et efficiente.