Bots (também conhecidos como spiders e crawlers) são programas de software que realizam tarefas automatizadas e repetitivas. Um exemplo disso é o crawler do Google que automaticamente varre websites, indo dos links de uma página web para a outra. Visto que esses bots não são visitantes reais, o comportamento deles não é interessante para você.
Práticas comuns se referem a 2 categorias de bots:
- Bots padrão: bots que são conhecidos na indústria, seja porque se “declararam” como bots ou são globais o suficiente para serem identificados como tal. Isso inclui crawlers de mecanismos de busca, scrapers sociais que buscam as imagens que são exibidas quando uma página web é compartilhada, e muitos outros.
- Bots não padrão: bots que geralmente são únicos em um website. Eles podem ser bots que a sua equipe de desenvolvimento construiu par realizar uma operação funcional, uma plataforma única de automatização de garantia de qualidade (QA) que realiza ações em seu website, ou qualquer bot único que não seja comumente conhecido na indústria.
Filtrar bots é importante porque eles inflam falsamente os seus dados, adicionando ruído que cobre os insights reais, e podem até mesmo distorcer resultados de testes. A Dynamic Yield filtra automaticamente os bots padrão, e é recomendado que você também filtre bots não padrão, usando os processos da Dynamic Yield.
Como a Dynamic Yield filtra automaticamente bots padrão
Na Dynamic Yield, o tráfego de bots e spiders conhecidos é automaticamente excluído de todos os relatórios. A lista de bots conhecidos é sincronizadas com o tráfego de bots constante na lista internacional de spiders e bots do IAB/ABC, mantida pelo Interactive Advertising Bureau (IAB). Essa lista é padrão entre as principais plataformas de analítica.
Observação: se você usa APIs Experience do lado do servidor, será preciso passar o atributo user-agent dentro da chamada da API (no objeto device) para que possamos corresponder o agente de usuário com a lista de bots conhecidos e determinar se o “usuário” é real ou um bot.
Como filtrar bots não padrão
Você também pode filtrar bots não padrão, por exemplo, uma plataforma única de automatização que você possui e que realiza ações de rotina em seu website. Você pode fazer isso de uma das seguintes formas:
- Excluir o endereço IP deles, na tela General Settings (configurações gerais).
- Excluir os agentes de usuário deles, com o agente de usuário que você deseja filtrar.
Observe que definir um filtro não afeta os dados históricos, e que filtrar os dados é irreversível.
Como verificar se o agente de usuário é um bot não padrão
Embora haja diferentes tipos de bots, muitos deles geram visualizações de página sem de fato interagir com o seu website. Isso significa que o bot é um agente de usuáro que geralmente não contribui para receitas, não adiciona itens ao carrinho e não faz nenhuma compra.
Se você suspeitar que um agente de usuário é um bot, clique em Audiences (públicos) na barra de navegação superior, e acesse Audience Explorer (explorador de públicos). Use uma condição user-agent e cole nela o agente de usuário com o qual você se preocupa. Um agente de usuário que é um bot, geralmente:
- Gera 1 visualização de página por usuário;
- Não faz nenhuma compra nem dispara eventos de adição ao carrinho;
- Tem uma única fonte de tráfego, tipo de dispositivo e país.
Como determinar se você é afetado por bots
- Acesse o Audience Explorer e veja um período maior do que 1 dia.
- Compare os números de usuários, visualizações de página, eventos de adição ao carrinho e compras com uma plataforma de analítica de sua confiança.
- Se os números forem semelhantes entre as 2 plataformas: você provavelmente não é afetado por bots.
- Se os números forem diferentes (por exemplo, uma discrepância de 10%), mas a discrepância existir em todas as 4 métricas: você provavelmente não é afetado por bots. Saiba mais sobre resolver problemas de discrepâncias de dados.
- Se o número de usuários ou visualizações de página forem maiores na Dynamic Yield, mas o número de eventos de adição ao carrinho ou compra forem semelhantes: você pode estar sendo afetado por bots não filtrados. Fale com o suporte e poderemos ajudar a verificar se realmente há um bot (e não um problema de implementação), e se for o caso, identificar o agente de usuário que deve ser filtrado.