A Dynamic Yield permite o ajuste fino das configurações do comportamento de veiculação, da atribuição de conversão e dos testes A/B de todas as variações em cada experiência. Nem todas as configurações são relevantes para todos os tipos de campanhas, e as opções de testes A/B não aparecem a menos que sua experiência esteja usando o método de alocação de teste A/B e tenha mais de uma variação.
Para acessar as configurações de experiência, clique no ícone de configurações ao criar ou editar uma experiência.
As seguintes configurações são exibidas:
Opções de teste A/B
As seguintes configurações ficam visíveis apenas se você definir o método de alocação como teste A/B e definir mais de uma variação. Se você estiver executando um teste A/B, e dados suficientes forem coletados, será declarada uma variação vencedora. A variação vencedora é escolhida após demostrar que é a melhor variação com validade estatística alta, e é seguro esperar que continue assim a longo prazo. Estas configurações afetam como a variação vencedora é declarada.
Nível de significância da vencedora
Essa configuração define a pontuação mínima de probabilidade de ser a melhor para que uma variação seja declarada a vencedora. Você pode definir um valor entre 75% e 99% (o padrão é 95%). Um nível de significância maior reduz a chance de declaração falsa ao custo de exigir a coleta de mais dados.
Duração mínima do teste
Uma variação vencedora não é declarada até que esse período tenha decorrido desde o início do teste, mesmo se uma das variações atingir a validade estatística exigida. Isso assegura que nenhuma suposição seja feita sobre todos os usuários com base em visitantes de fim de semana, ou qualquer outro tráfego relacionado ao tempo. Recomendamos executar um teste por 2 semanas antes de declarar uma vencedora.
Notificação por e-mail
Por padrão, a pessoa que criou a experiência será notificada por e-mail quando uma variação for declarada vencedora. No entanto, você pode mudar isso adicionando ou removendo os endereços de e-mail.
Configurações avançadas
Variation Stickiness (aderência da variação)
A Variation Stickiness determina se a variação inicial veiculada ao visitante continuará sendo veiculada em futuras interações com a experiência ou se o sistema tomará novas decisões sobre qual variação veicular. Há três opções:
- Not sticky (não aderente): toda vez que o usuário se qualifica para uma experiência, o sistema seleciona uma variação, independentemente das seleções anteriores.
- Sticky for the session (aderência para a seção): uma única variação é selecionada para o usuário pela duração de sua sessão, mesmo se houver diversas interações com a experiência. Por exemplo, se o usuário voltar à página com um banner de conteúdo dinâmico (Dynamic Content) em uma única sessão, a mesma variação será veiculada.
- Sticky for the user (multi-session) (aderência ao usuário [multisessão]): uma única variação é escolhida para o visitante. Pela duração total da campanha, a mesma variação é veiculada para cada usuário.
A configuração de "stickiness" afeta as métricas do relatório. Por exemplo, se você quiser otimizar as compras, e a experiência estiver definida como "Sticky for the session", a métrica primária será Purchases per Session (compras por sessão). Se a variação estiver definida como "Sticky for the user", a métrica primária será Purchases per User (compras por usuário).
No entanto, a taxa de cliques (CTR) não é afetada, pois sempre relata cliques por impressão.
Melhores práticas
Dependendo do seu método de alocação de tráfego, há duas regras de ouro para seguir ao selecionar a aderência da variação:
- Teste A/B: ao executar um teste A/B/n (por exemplo, um teste de alteração de layout), selecione "Sticky for the user" e veicule ao visitante a mesma variação ao longo da duração do teste. Usar "Sticky for the session" talvez aumente o tamanho da amostra (porque provavelmente haverá mais sessões do que visitantes), mas poderá potencialmente distorcer a atribuição, especialmente se a conversão for feita após diversas sessões. Por exemplo, o visitante pode adicionar um produto ao carrinho após receber a variação A, mas fazer a compra alguns dias depois após receber a variação B. O sistema atribuirá a compra à última variação veiculada, e não considerará as variações vistas anteriormente que possam (ou não) afetar o comportamento do visitante. Por esse motivo, você não pode executar testes A/B com "Not sticky".
- Alocação dinâmica: quando você alocar seu tráfego de forma dinâmica, selecione "Sticky for the session". Isso permitirá que o mecanismo da Dynamic Yield estude o desempenho da variação ao longo da sessão e veicule a variação de melhor desempenho nas sessões subsequentes (a todos os visitantes). Se não houver necessidade de manter consistência na experiência de usuário, ou se sua métrica primária oferecer feedback imediato (CTR, por exemplo), você pode usar a opção "Not sticky". "Sticky for the user" não é compatível com a alocação dinâmica porque ela se opõe ao propósito da otimização. Não há razão para manter uma variação perdedora só porque ela foi veiculada anteriormente.
Janela de atribuição
A janela de atribuição é o período em que as conversões e receita dos visitantes são atribuídas a uma dada variação nos relatórios de experiências. Por exemplo, se o usuário clicar em uma variação na segunda-feira e fizer uma compra na terça-feira, a compra será atribuída à variação se a janela for de 1 dia ou mais.
Início da janela de atribuição
Na maioria dos casos, recomendamos iniciar a janela de atribuição quando o usuário receber uma variação. No entanto, há casos em que você talvez queira fazer o ajuste fino desse gatilho:
- Variation is served (a variação é veiculada, padrão): a janela de atribuição começa assim que o visitante recebe uma variação, mesmo se ela estiver "abaixo da dobra" e o usuário não a tenha visto de fato.
-
Variation is served and clicked (a variação é veiculada e clicada): a janela de atribuição começa quando a variação é clicada (não aplicável a Custom Action [ação personalizada], Visual Edit [edição visual] e conjuntos de variáveis móveis). Ao escolher essa configuração de atribuição, os resultados do experimento exibem:
- Todos os usuários, sessões, cliques e impressões, independentemente de ocorrer o clique de atribuição.
- Visualizações de página, eventos e métricas de receitas que ocorreram após o clique.
-
Variation is served and an event is triggered (a variação é veiculada e um evento é disparado): a janela de atribuição começa quando um evento personalizado é disparado. Você pode especificar qualquer evento para disparar o início da janela de atribuição. Ao selecionar essa configuração de atribuição, os resultados do experimento exibem:
- Todos os usuários, sessões, cliques e impressões, independentemente da ocorrência do evento de atribuição.
- Visualizações de página, eventos e métricas de receitas que ocorreram após o evento de atribuição (incluindo o próprio evento de atribuição).
Melhor prática
Use as opções Variation is served and clicked e Variation is served and event is triggered quando se espera que um pequeno número de visitantes participe no teste. Por exemplo, quando o teste afeta um elemento de baixa posição na página e os usuários não são propensos a rolar para baixo para vê-lo.
Fim da janela de atribuição
- Session ends (fim da sessão): conversões e receitas são creditadas a uma variação, contanto que tenham ocorrido após o início da janela de atribuição e antes do fim da sessão.
- 1 Day (1 dia): conversões e receitas são creditadas a uma variação, contanto que tenham ocorrido após o início da janela de atribuição e antes de um dia se passar.
- 7 Days (7 dias): conversões e receitas são creditadas a uma variação, contanto que tenham ocorrido após o início da janela de atribuição e antes de decorrido um período de 7 dias.
Melhor prática
- Selecione Session ends quando você espera que a maioria das conversões ocorra dentro da mesma sessão. Isso reduz o ruído das conversões que ocorrem em dias diferentes, quando a variação pode nem mesmo ter sido veiculada. Escolher a atribuição de sessão pode acelerar o alcance da significância estatística.
- Selecione 7 Days se você esper que um grande número de conversões ocorra em diferentes sessões. Por exemplo, se estiver vendendo geladeiras, é provável que seus visitantes tomem a decisão de compra após diversas visitas, comparações de preço e análises. Usar a janela de atribuição de sessão pode não cobrir conversões subsequentes. Consequentemente, os dados "perdidos" desaceleram o tempo que leva para alcançar a significância estatística.
- A janela de atribuição pode ser quebrada quando o checkout envolve um redirecionamento para outro domínio (como PayPal, Shop Pay ou similares), então a melhor prática é usar algo que não seja Session ends nesse caso.