Les robots (que l’on appelle également « spiders » ou « crawlers ») sont des logiciels qui effectuent des tâches automatisées et répétitives. C’est le cas, par exemple, du robot d’exploration de Google qui scrute automatiquement les sites web en suivant les liens d’une page à l’autre. Comme ces robots ne sont pas de vrais visiteurs, leur comportement ne vous intéresse pas.
Les pratiques courantes font référence à deux catégories de robots :
- Les robots standard : les robots connus dans le secteur, qui s’annonce comme tels ou qui sont suffisamment connus pour être identifiés comme tels. Il s’agit notamment des robots d’indexation des moteurs de recherche, des « racleurs sociaux » qui récupèrent les images affichées lorsqu’une page web est partagée, et bien d’autres encore.
- Les robots non standard : les robots qui sont généralement uniques sur un site web. Il peut s’agir de robots créés par votre équipe de développement pour effectuer une opération fonctionnelle, d’une plateforme unique d’automatisation de l’assurance qualité qui effectue des actions sur votre site, ou de tout autre robot unique qui n’est pas communément connu.
Il est important de filtrer les robots, car ils gonflent faussement vos statistiques, en ajoutant du bruit qui brouille les informations réelles, et peuvent même fausser les résultats de vos tests. Dynamic Yield. filtre automatiquement les robots standard et il est recommandé de filtrer également les tobots non standard en utilisant les processus de Dynamic Yield.
Comment Dynamic Yield filtre automatiquement les robots standard
Dans Dynamic Yield, le trafic provenant de robots et de spiders connus est automatiquement exclu de tous les rapports. La liste des robots connus correspond au trafic de robots figurant dans la liste internationale IAB/ABC Spiders and Bots, tenue à jour par l’Interactive Advertising Bureau (IAB). Cette liste est standard pour les principales plateformes d’analyse.
Remarque : si vous utilisez les API Experience côté serveur, vous devrez transmettre l’attribut user-agent dans l’appel API (dans l’objet device), afin que nous puissions faire correspondre l’agent utilisateur avec la liste des robots connus et déterminer si l’« utilisateur » est un utilisateur réel ou un robot.
Comment filtrer les robots non standard
Vous pouvez également filtrer les robots non standard, par exemple une plateforme d’automatisation unique qui effectue des actions de routine sur votre site. Vous pouvez procéder de l’une des manières suivantes :
- En excluant leur adresse IP, ce qui se fait sur l’écran
- En excluant leurs agents utilisateurs à l’aide de l’agent utilisateur que vous souhaitez filtrer.
Notez que la mise en place d’un filtre n’a pas d’impact sur les données historiques et que le filtrage des données est irréversible.
Comment vérifier qu’un agent utilisateur est un robot non standard ?
Bien qu’il existe différents types de robots, beaucoup d’entre eux consultent des pages sans vraiment interagir avec votre site. Cela signifie que le robot est un agent utilisateur qui n’affecte généralement pas le chiffre d’affaires, n’ajoute pas d’articles au panier et n’effectue pas d’achats.
Si vous pensez qu’un agent utilisateur est un robot, cliquez sur Audiences dans la barre de navigation supérieure et accédez à l’Audience Explorer (explorateur d’audience). Utilisez une condition User-Agent et collez-y l’agent utilisateur qui vous intéresse. Un agent utilisateur qui est généralement un robot :
- Fait 1 page vue par utilisateur.
- N’effectue pas d’achat ni d’ajout au panier
- A une seule source de trafic, un seul type d’appareil et un seul pays
Comment déterminer si vous êtes affecté par les robots ?
- Accédez à l’explorateur d’audience et affichez une période plus longue qu’une journée.
- Comparez le nombre d’utilisateurs, de pages vues, d’événements d’ajout au panier et d’achats à une plateforme d’analyse avec laquelle vous avez confiance.
- Si les chiffres sont similaires entre les deux plateformes : vous n’êtes probablement pas affecté par les robots.
- Si les chiffres sont différents (par exemple, un écart de 10 %), mais que l’écart existe dans les quatre mesures : vous n’êtes probablement pas affecté par les robots. En savoir plus sur la résolution des divergences de données.
- Si le nombre d’utilisateurs ou de pages vues est plus élevé dans Dynamic Yield, mais que le nombre d’événements d’ajout au panier et d’achat est similaire : il se peut que vous soyez affecté par des robots non filtrés. Contactez l’assistance et nous vous aiderons à vérifier s’il s’agit bien d’un robot (et non d’un problème d’implémentation) et, le cas échéant, à identifier l’agent utilisateur qui doit être filtré.