O histórico do relatório de testes A/B fornece uma visão geral sobre seu programa de testes A/B (experiências com alocação de testes A/B e pelo menos 2 variações, ou 1 variação e um grupo de controle). O relatório ajuda você a responder perguntas como:
- Quais foram os testes A/B de maior sucesso?
- Quantos testes resultaram em maiores conversões?
- Quantos testes você realizou no seu site?
- Agora, existem tantos testes quanto nos trimestres anteriores?
Baixando o relatório
Você pode baixar o histórico do relatório de testes A/B clicando em A/B Test History no painel de testes A/B.
Métricas do relatório
O relatório é um arquivo CSV, em que cada linha representa uma variação de uma versão de teste de uma experiência que utiliza o método de alocação de teste A/B, e que possui pelo menos duas variações ativas.
| Coluna | Descrição |
|---|---|
| Campaign Name | O nome da campanha a que a experiência pertence. |
| Experience Name | O nome da experiência. |
| Version Id | O ID interno da versão do teste. |
| Start Date | A data em que a versão do teste teve início. |
| End Date | A data em que a versão do teste acabou, podendo ser mostrada como Still Running (em execução). |
| Days Running | A duração da versão do teste em dias. |
|
Variation Name |
O nome da variação. |
| Impressions | A soma das impressões da variação nessa versão. |
| Clicks | A soma dos cliques da variação nessa versão. |
| Primary Metric | A métrica primária é usada para determinar a variação vencedora para o teste A/B. A métrica primária afeta os cálculos de Probability to Be Best (probabilidade de ser a melhor), Uplift (melhoria) e Winner Declaration (declaração da vencedora) vencedora). |
| Normalization Type | O tipo de denominador usado para normalizar a métrica. Por exemplo, usuários, sessão, impressões ou compras. |
| Normalization | A contagem do denominador. |
| Metric Totals | A contagem ou soma da métrica. |
| Metric Totals Excluding Outliers | A contagem ou soma da métrica, excluindo pontos fora da curva. |
| Declaration | Se a variação foi ou não declarada a vencedora. |
| Declaration Excluding Outliers | Se a variação foi ou não declarada a vencedora com base nos dados excluindo os pontos fora da curva. |
| Report | Um link direto para o relatório da experiência. |
Observação: apenas as versões de teste que estavam ativas após o dia 1º de janeiro de 2018 são incluídas. Para clientes que usam o data center da Dynamic Yield na UE, os testes devem ter entrado em atividade após o dia 28 de janeiro de 2019 para que sejam incluídos.
Análise executiva de programa de teste A/B — modelo do Excel
O modelo de análise resumida do programa de teste A/B fornece uma camada visual ao arquivo CSV bruto do histórico do teste A/B, podendo ser baixado a partir do Experience OS. O modelo pode ajudar você a compartilhar o sucesso e o impacto do seu programa de teste A/B na sua organização, fornecendo dados novos e valiosos para que você identifique mais oportunidades de otimização.
Para começar, baixe o modelo de resumo do programa de teste A/B:
https://www.dynamicyield.com/
O modelo inclui macros para alguns dos cálculos de dados. Quando abrir o arquivo pela primeira vez, você poderá ver uma mensagem pedindo para confirmar que você confia na fonte das macros. Clique em Habilitar macros.
Depois que o modelo for aberto, você poderá ver uma segunda mensagem no topo da tabela. Clique em Habilitar conteúdo.
O que está no modelo de resumo do programa de teste A/B?
O modelo contém 4 abas: a aba de resumo, que mostra o painel; uma aba com os dados brutos do histórico de testes A/B e mais 2 abas adicionais em que os cálculos e manipulações de dados ocorrem para o funcionamento do painel.
O painel de resumo inclui 5 áreas que fornecem informações valiosas:
- KPIs, que resumem o sucesso do histórico de testes A/B, bem como referências para que você se compare com centenas de marcas que fazem parte da base de clientes da Dynamic Yield:
- Tests: o número de versões dos testes A/B (se você editou um teste durante sua execução, ele aparecerá em 2 linhas).
- Running tests: o número de testes em execução no momento.
- Avg. Monthly tests: uma média do total de testes sobre o total de meses desde que o primeiro teste foi lançado.
- Learn rate: a proporção de testes com resultados conclusivos sobre o número total de testes. Isso pode dar uma boa ideia se seus testes A/B estão configurados corretamente em termos de personalização e otimização. Por exemplos, regras de segmentação excessivamente restritivas ou um excesso de variações podem fazer com que fique mais difícil para o sistema chegar a alguma conclusão dentro de um intervalo de tempo razoável.
- Win Rate: a proporção de testes com resultados conclusivos e uma variação vencedora que não seja de grupo de controle sobre o número total de testes. Aqui, além dos critérios de personalização e otimização, você tem uma indicação da porcentagem de testes com um grupo de controle, e sabe se suas hipóteses iniciais foram bem definidas.
- Median Uplift: uma média das melhorias das métricas primárias de todos os testes A/B. Essa é uma indicação geral do sucesso das variações em relação aos seus grupos de controle.
- Um gráfico que mostra o volume e a cadência de novos testes lançados.
- Uma seção de testes notáveis em termos de impacto na receita (gerada e em potencial). Use essa seção para aprender sobre o que levou aos resultados.
- Um lembrete sobre testes lançados recentemente e itens de ações adicionais a serem aplicadas no Experience OS.
- Um detalhamento de alguns KPIs de acordo com as métricas primárias definidas nos seus testes.
Como enviar seus dados
- Baixe o arquivo do histórico de testes A/B na página inicial do console do seu site.
- Abra o modelo e acesse a guia Import Here. Selecione todos os dados e clique em Delete. Quando aparecer um alerta, clique em Yes.
- Acesse a guia de arquivo no menu superior do Excel e clique em Importar.
- No menu de importação, selecione o arquivo CSV e clique em Importar.
- Na janela de busca, encontre seu arquivo CSV e clique nele. Depois, clique em Obter dados. O assistente de importação de dados aparecerá.
- No passo 1 do assistente, configure a origem sugerida do arquivo para Unicode (UTF-8) e clique em Próximo.
- No passo 2, certifique-se de selecionar vírgulas (e desmarcar a opção Tab se necessário). Clique em Próximo.
- No passo 3 do assistente de importação, basta clicar em Finalizar.
A caixa de diálogo da importação de dados aparecerá.
Importante: certifique-se de que os novos arquivos importados estão na primeira célula da tabela =$A$1. Clique em OK.
Agora, seus dados estão atualizados - Para concluir o processo de importação, abra a aba Calcs e encontre as 2 tabelas nomeadas pivot (as duas têm cabeçalhos azuis). Clique com o botão direito em qualquer área da primeira tabela de pivot e selecione Atualizar. Repita esse passo para a segunda tabela de pivot.
Agora, sua tabela de resumo está atualizada com os dados do arquivo CSV e está pronta para inspeção.