GYCLOUDATA
Objectif
L'objectif principal de ce projet était de créer une application backend robuste capable de :
- Scraper les données : récupérer des données depuis un site web de télécommunications, Facebook et Twitter.
- Formater les données : Organiser les données récupérées en fichiers CSV et Parquet.
- Alimenter des modèles d'IA : Mettre les données formatées à disposition des modèles d'IA pour analyser les tendances et le sentiment des clients.
Plateforme
Pour ce projet, nous avons utilisé une plateforme on-premise afin de garantir la sécurité et le contrôle des données. Cette configuration nous a permis de gérer l'ensemble du pipeline de traitement des données au sein de notre propre infrastructure, garantissant la conformité aux réglementations de confidentialité des données et minimisant les dépendances externes.
Technologies utilisées
Le choix technologique a été déterminant pour la réussite du projet. Nous avons opté pour Python comme langage de programmation principal en raison de sa polyvalence et de son large support de bibliothèques de manipulation de données. Les principales bibliothèques utilisées dans ce projet comprenaient :
- Selenium : Pour le web scraping, en particulier pour interagir avec du contenu web dynamique et automatiser les tâches de navigation.
- Tweepy : Une bibliothèque Python pour accéder à l'API Twitter, nous permettant de récupérer efficacement les tweets et les données associées.
Conclusion
Ce projet a démontré notre capacité à développer une solution backend complète pour le scraping, le formatage et la mise à disposition des données. En utilisant Python et ses puissantes bibliothèques telles que Selenium et Tweepy, nous avons créé un pipeline qui collecte et traite efficacement des données provenant de sources variées. Les données formatées sont désormais disponibles pour que les modèles d'IA puissent analyser les tendances et le sentiment des clients, fournissant des informations précieuses pour aider les entreprises à prendre des décisions éclairées.
Notre engagement à utiliser des technologies de pointe et à garantir l'intégrité des données nous a permis de livrer une solution répondant aux besoins dynamiques de l'ère numérique.