As exceções são observações extremas que diferem significativamente do restante dos dados. Por exemplo, uma única compra de US$ 1000 pode ser incomum se o valor médio por pedido for de US$ 50, ou um usuário que fez 30 compras em um único mês pode ser considerado uma anomalia se o número de compras por cliente no mesmo período for de 1,5.
As exceções podem ser causadas por comportamentos legítimos dos usuários e, mesmo que sejam raras, podem ter influência suficiente para distorcer os resultados de um teste.
Detectando exceções
A Dynamic Yield detecta e trata dois tipos de exceções:
- Valores extremos de eventos: aplicados a cada evento ou meta com valor.
- Usuários com um número extremo de eventos: aplicados a cada evento ou meta (a partir de 1º de julho de 2023).
Valos extremos de eventos
Para cada evento ou meta com valor (como uma compra), o limite da exceção é calculado com base na média e no desvio-padrão de todos os valores de eventos coletados nos últimos 30 dias. O limite é definido como 3 desvios-padrões acima da média. Os valores de eventos individuais que excederem o limite serão substituídos pelo valor médio dos eventos abaixo do limite. Um novo limite de exceção é calculado diariamente com base nos últimos 30 dias e aplicado aos eventos do dia atual. O limite é aplicado somente se houver pelo menos 100 eventos nos últimos 30 dias.
Usuários com um número extremo de eventos
Para cada evento ou meta, nós calculamos um limite de exceção com base no número de eventos por DYID nos últimos 30 dias. Nós consideramos somente os DYIDs que dispararam cada evento várias vezes e aplicamos uma variação da técnica DoubleMAD de detecção de exceções:
- Calcular o valor mediano de eventos por DYID.
- Calcular o desvio absoluto da mediana para os DYIDs acima da mediana.
- Definir o limite como a mediana + 3 vezes o desvio absoluto da mediana.
Todos os DYIDs que dispararam mais eventos que o limite nos últimos 30 dias são considerados exceções para o dia atual, e seus eventos iniciados no dia atual são excluídos dos relatórios, assim como seus valores. Por exemplo, suponha que:
- Um novo usuário começa a visitar o site e faz uma compra todos os dias.
- O limite de exceção para o evento de compra é de 10.
O novo usuário é sinalizado como exceção a partir do dia da sua 11ª compra, efetivamente limitando a 10 seu número de compras consideradas para fins de relatório.
Um novo limite de exceção é calculado diariamente com base nos últimos 30 dias e aplicado aos eventos do dia atual. O limite é aplicado somente se houver pelo menos 100 eventos nos últimos 30 dias.
Exceções nos relatórios de experiência
Por padrão, os relatórios de testes A/B excluem exceções, mas você pode inclui-las acessando More Options (Mais Opções) e desativando o botão de Exclude Outliers (Excluir Exceções).
Os dois tipos de exceções — valores extremos de eventos e usuários com um número extremo de eventos — são excluídos usando o mesmo seletor.
Todos os números dos relatórios de testes A/B são afetados por esse seletor, exceto direcionamento preditivo, que é sempre calculado com resultados que excluem as exceções.
Exportando exceções: registro de eventos de receitas
Para exportar um registro de todos os eventos de receitas que foram iniciados por usuários no teste A/B, clique em Export (Exportar) no topo da página de relatórios de experiência e selecione Revenue event log (Registro de eventos de receitas). Isso inclui todos os eventos com valor, indicando se esses eventos foram ou não exceções com base em um dos métodos de tratamento de exceções. O registro de eventos de receitas está disponível para todos os testes A/B (campanhas que usem alocação de teste A/B e tenham pelo menos 2 variações).