Quando você executa um teste A/B, o mecanismo de análise preditiva da Dynamic Yield é executado em segundo plano, buscando oportunidades ocultas de personalização.
O mecanismo de análise preditiva resolve um dos maiores problemas dos testes A/B: testes otimizados para o usuário médio. Nos testes A/B, uma variação vencedora é selecionada com base nas preferências da maioria dos usuários. Isso significa que a maioria dos usuários consideravelmente prefere a variação A. Quando o teste é concluído, a variação A é veiculada a todos os usuários. No entanto, muitas vezes há subconjuntos de usuários com preferências específicas que não são a variação vencedora. Assim, você pode melhorar seus resultados se veicular uma variação diferente para aquele conjunto de usuários que preferem uma opção menos popular.
O direcionamento preditivo assegura que até mesmo testes concluídos sem um vencedor geral podem ter a chance de gerar uma elevação ao veicular uma variação "perdedora" para um público que de fato o prefere.
A imagem a seguir mostra um teste que resultou em uma elevação geral de -51,7%. O direcionamento preditivo sugere um novo plano de ação: se a variação A for veiculada ao público Referal Traffic (tráfego de referência) enquanto todos os outros usuários recebem o grupo de controle, a elevação esperada será de +11,4%.
Como funciona
- A análise preditiva atua em segundo plano para cada teste A/B executado, vasculhando todos os públicos e revelando aqueles que preferem uma variação "perdedora". Somente planos de ação com significância suficiente são avaliados e priorizados em termos de relevância e elevação esperada.
- Quando uma oportunidade é identificada, você é notificado no relatório e por e-mail. A tabela mostra os grupos de direcionamento, as variações que devem ser veiculadas para cada um e a elevação que se espera gerar com o plano de ação.
- Você pode aceitar a oportunidade de personalização clicando em APPLY (aplicar) se quiser aproveitar a oportunidade. Então, ocorrerá um dos seguintes:
- Se o grupo de controle for uma das variações:
Uma nova condição de direcionamento será adicionada, limitando a veiculação da experiência, de modo que aqueles que preferem o grupo de controle não recebam essa experiência. - Se o grupo de controle não for uma das variações:
A experiência será duplicada, e uma nova condição de segmentação será adicionada à nova experiência. Todas as variações, exceto uma, serão pausadas em uma experiência, e todas as variações, exceto uma (diferente), serão pausadas na outra experiência, de forma que um grupo de direcionamento receberá uma variação, e o restante, a outra.
- Se o grupo de controle for uma das variações:
- Clique no menu Additional Options (opções adicionais, 3 pontos) para ver as opções a seguir:
- Review before publishing (revisar antes de publicar): redireciona você ao formulário com a configuração que seria criada ao clicar em APPLY. Isso permite que você verifique novamente a configuração e faça quaisquer alterações antes de publicar.
- Breakdown report (relatório detalhado): permite que você veja como foi o desempenho dos públicos relevantes. Você verá que há uma líder diferente ao filtrar o relatório.
- Clique em More Options (mais opções) sob a tabela para mostrar quaisquer planos de ação adicionais e o plano de ação comum dos testes A/B (veicular a variação líder a todos os usuários).
Significância estatística das oportunidades de personalização
As oportunidades de personalização exigem alta significância para garantir sugestões válidas. Os planos de ação sugeridos devem ser pelo menos 1% melhores do que veicular a variação líder a todos os usuários, com uma confiança mínima de 95%.