La probabilità di essere la migliore è un punteggio che viene assegnato a ogni variante che si prevede possa superare tutte le altre opzioni a lungo termine. Si usa per determinare il modo in cui le varianti vengono distribuite quando si utilizza l'allocazione dinamica e per stabilire qual è la vincente in un test A/B.
L'algoritmo
I calcoli si basano su un motore statistico bayesiano migliorato, rapido e aggressivo. Il modello si basa sull'inferenza statistica e fornisce a ogni variante la sua probabilità di essere la migliore e un nuovo tipo di intervallo di confidenza, detto HPDR. Consente inoltre di dichiarare in modo più affidabile la vincente nel test. Per approfondimenti matematici sul modello statistico bayesiano, puoi consultare questo articolo.
Probabilità di essere la migliore in un test A/B
La probabilità di ottenere il punteggio migliore, insieme alla durata minima del test (default: 14 giorni) per stabilire qual è la vincente (se esiste) in un test A/B. Il punteggio viene calcolato giornalmente e viene azzerato quando viene creata una versione di test ex novo.
Probabilità di essere la migliore e allocazione dinamica
Ogni variante inizia con un punteggio che riflette il numero di opzioni nell'esperienza (ad esempio, se ci sono 4 varianti, i punteggi partono tutti dal 25%). Man mano che si raccolgono i dati, l'algoritmo regola i punteggi in base alle prestazioni relative di ciascuna variante. Le varianti con punteggi più alti otterranno più traffico. I punteggi sono calcolati a un tasso di almeno una volta all'ora. Per continuare a addestrare e monitorare il modello, al 10% delle sessioni viene sempre proposta una variante casuale.
Se si aggiunge una nuova variante a un test esistente, i punteggi relativi delle opzioni esistenti rimarranno invariati, ma alla nuova alternativa verrà assegnato un livello in base al numero di variazioni. Ad esempio, se ci fossero 2 varianti con punteggi del 10% e del 90% e si dovesse aggiungere una nuova opzione, il livello di quest'ultima sarebbe 33,3%, mentre i punteggi delle 2 originali scenderebbero (10% e 90% del restante 66% = 6.6% e 60%).
Se una variante esistente fosse modificata, verrà visualizzata come una nuova variante e il relativo punteggio verrà azzerato.