Rythme : Module de scraping pour l'automatisation et l'optimisation des achats quotidiens

Introduction

Rythme, une startup spécialisée dans l'optimisation de l'expérience d'achat de produits du quotidien, a fait appel à Terros pour créer une solution de scraping performante. L'objectif de ce projet est de développer une application permettant aux particuliers d'automatiser leurs achats quotidiens en réunissant les produits de différentes grandes surfaces (GMS) et en offrant la possibilité de comparer les prix. Terros est chargée de concevoir un module de scraping autonome, capable de constituer et d'actualiser régulièrement la base de données produits de Rythme.

Solution et déroulé du projet

Rythme a sollicité Terros pour développer un module de scraping sur mesure capable de rassembler et de mettre à jour les données produits des grandes surfaces partenaires. Le projet présente plusieurs défis techniques, notamment la diversité des sources (différentes GMS) et la nécessité de maintenir une exhaustivité des données tout en assurant une mise à jour régulière.

La solution proposée par Terros repose sur deux types de scraping :

Scraping catalogue : Ce module parcourt l'ensemble des pages catalogue des plateformes pour récupérer et actualiser les données produits.

Scraping unitaire : Ce module intervient en complément pour mettre à jour les produits n'ayant pas été récupérés par le Scraper catalogue, en traitant les URL des produits de manière individuelle.

Résultats et Feedback

Le déploiement du module de scraping a permis à Rythme d'automatiser efficacement la constitution et l'actualisation de sa base de données produits, assurant une exhaustivité et une fiabilité des informations. Les résultats principaux incluent :

• Mise en place d'une base de données complète : Grâce au scraping, Rythme dispose d'une base de produits actualisée, incluant les informations clés (URL, EAN, prix…) provenant de plusieurs grandes surfaces.

• Réduction des coûts et des délais : L'optimisation des composants réutilisables a permis de limiter la maintenance et les temps de développement, ce qui a eu un impact positif sur les budgets et la rapidité de déploiement.

• Comparaison des prix en temps réel : Les utilisateurs finaux de l'application Rythme peuvent désormais consulter et comparer les prix des produits en toute simplicité, offrant une meilleure expérience d'achat pour les produits du quotidien.

• Fiabilité des mises à jour : L'approche duale (Scraping catalogue et unitaire) garantit la mise à jour régulière des informations produits, assurant ainsi une grande fiabilité des données pour l'application Rythme.