A probabilidade de ser a melhor é uma pontuação, dada a cada variação, que prevê sua chance de superar o desempenho de todas as outras variações a longo prazo. Ela é usada para determinar como as variações são distribuídas ao usar a alocação dinâmica e para determinar qual variação é a vencedora em um teste A/B.
O algoritmo
Os cálculos são baseados em um mecanismo estatístico bayesiano aprimorado, rápido e agressivo. O modelo é baseado em inferência estatística e oferece cada variação com sua probabilidade de ser a melhor, além de um novo tipo de intervalo de confiança chamado HPDR. Ele também permite uma declaração mais confiável de um vencedor do teste. Para informações matemáticas sobre o modelo estatísticos bayesiano, leia este artigo.
Probabilidade de ser a melhor em testes A/B
A pontuação da probabilidade de ser a melhor, juntamente com a duração mínima de teste (padrão: 14 dias), determina (se houver) qual variação é a vencedora de um teste A/B. A pontuação é calculada diariamente e é reiniciada quando uma nova versão do teste é criada.
Probabilidade de ser a melhor na alocação dinâmica
Cada variação começa com uma pontuação que reflete o número de variações na experiência (por exemplo, se houver 4 variações, todas as pontuações começam em 25%). Conforme os dados são coletados, o algoritmo ajusta as pontuações com base no desempenho relativo de cada variação. As variações com pontuações maiores recebem mais tráfego. As pontuações são calculadas a uma taxa de pelo menos uma vez por hora. Para continuamente treinar e monitorar o modelo, dez por cento das sessões sempre recebem uma variação aleatória.
Se uma nova variação for adicionada a um teste existente, as pontuações relativas das variações existentes serão mantidas, mas as novas variações receberão uma pontuação baseada no número de variações. Por exemplo, se houver 2 variações com pontuações de 10% e 90%, e uma nova variação for adicionada, a pontuação da nova variação começará em 33,3%, e as 2 pontuações originais serão reduzidas (10% e 90% dos restantes 66% = 6,6% e 60%).
Se uma variação existente for editada, ela será vista como uma nova variação e sua pontuação será redefinida.