GYCLOUDATA
Objectif
L'objectif principal de ce projet était :
- Concevoir une architecture de données robuste : Capturer les données en streaming et en mode batch, puis les stocker dans des Data Lakes et des bases de données.
- Mettre en place un processus ETL : Configurer des pipelines ETL pour l'extraction, le chargement et la transformation des données.
- Analyse de données en temps réel et détection d'anomalies : Mettre en œuvre des solutions d'analyse de données et de détection d'anomalies, avec un accent particulier sur la prévention de la fraude à la carte bancaire.
Plateforme
Pour ce projet, nous avons évalué les trois principaux fournisseurs de cloud public — Azure, AWS et GCP — afin d'identifier les meilleurs outils et services répondant aux besoins spécifiques du système de streaming de données bancaires.
Services utilisés
Voici les services utilisés pour chaque fournisseur cloud :
- Streaming de données : Azure Event Hubs · AWS Kinesis · GCP Pub/Sub
- Data Lakes : Azure Data Lake Storage Gen2 · AWS S3 · GCP Cloud Storage (GCS)
- Gestion des API : Azure API Management · AWS API Gateway · GCP API Gateway
- Bases de données No-SQL : Azure CosmosDB · AWS DynamoDB · GCP Bigtable
- Visualisation : Power BI (PBI) · Tableau · Metabase
- Détection d'anomalies : Azure Stream Analytics · AWS Kinesis Data Analytics · GCP BigQuery
Conclusion
Ce projet a permis d'auditer et de comparer les capacités des trois principaux fournisseurs de cloud public pour le streaming de données bancaires. En combinant des services de streaming, de stockage, de gestion des API, des bases de données NoSQL, des outils de visualisation et de détection d'anomalies, nous avons conçu une architecture de données robuste et efficace.
Notre expertise dans l'évaluation et la mise en œuvre de technologies de pointe nous a permis de fournir une solution complète et adaptable répondant aux besoins critiques de détection de fraude et d'analyse de conformité dans le secteur bancaire.