Objectif
L’objectif principal de ce projet était de :
- Concevoir une Architecture de Données Robuste : Capturer des données en streaming et par lots, puis les stocker dans des Data Lakes et des bases de données.
- Mise en Place d’un Processus ETL : Configurer des pipelines ETL pour l’extraction, le chargement et la transformation des données.
- Analyse de Données et Détection d’Anomalies en Temps Réel : Implémenter des solutions pour l’analyse de données et la détection d’anomalies, avec un accent particulier sur la prévention de la fraude à la carte bancaire.
Plateforme
Pour ce projet, nous avons évalué les trois principaux fournisseurs de cloud public : Azure, AWS et GCP, afin d’identifier les meilleurs outils et services pour répondre aux besoins spécifiques du système de streaming de données bancaires.
Services Utilisés
Voici les principaux services utilisés sur chaque plateforme cloud :
- Data Streaming :
- Azure Event Hubs
- AWS Kinesis
- GCP Pub/Sub
- Data Lakes :
- Azure Data Lake Storage Gen2
- AWS S3
- GCP Cloud Storage (GCS)
- API Management :
- Azure API Management
- AWS API Gateway
- GCP API Gateway
- No-SQL Databases :
- Azure CosmosDB
- AWS DynamoDB
- GCP Bigtable
- Visualization :
- Power BI (PBI)
- Tableau
- Metabase
- Anomaly Detection :
- Azure Stream Analytics
- AWS Kinesis Data Analytics
- GCP BigQuery
Conclusion
Ce projet a permis d’auditer et de comparer les capacités des trois principaux fournisseurs de cloud public pour le streaming de données bancaires. En utilisant une combinaison de services de streaming, de stockage, de gestion des API, de bases de données NoSQL, d’outils de visualisation et de détection d’anomalies, nous avons pu concevoir une architecture de données robuste et efficace.
Notre expertise dans l’évaluation et l’implémentation des technologies de pointe nous a permis de fournir une solution complète et adaptable, répondant aux besoins critiques de la détection de fraude et de l’analyse de conformité dans le secteur bancaire.