La probabilité d’être la meilleure est un score attribué à chaque variation qui prédit ses chances de surpasser toutes les autres variations à long terme. Il est utilisé pour déterminer la répartition des variations lors de l’utilisation de l’allocation dynamique, et de déterminer la variation gagnante d’un test A/B.
L’algorithme
Les calculs se basent sur un moteur statistique bayésien optimisé, rapide et agressif Le modèle est basé sur l’inférence statistique, en fournissant à chaque variation sa probabilité d’être la meilleure, et un nouveau type d’intervalle de confiance appelé HPDR. Il permet également de déclarer de façon plus fiable le vainqueur du test. Pour obtenir des données mathématiques sur le modèle statistique bayésien, lisez cet article.
Probabilité d’être la meilleure dans les tests A/B
La probabilité d’obtenir le meilleur score, ainsi que la durée minimale du test (par défaut : 14 jours), détermine la variation gagnante d’un test A/B. Le score est calculé quotidiennement puis réinitialisé lorsqu’une nouvelle version de test est créée.
Probabilité d’être la meilleure dans l’allocation dynamique ;
Chaque variation commence par un score indiquant le nombre de variations de l’expérience (par exemple, s’il y a 4 variations, les scores commencent tous à 25 %). Au fil de la collecte des données, l’algorithme ajuste les scores en fonction de la performance relative de chaque variation. Les variations avec des scores plus élevés ont un trafic plus élevé. Les scores sont calculés au moins une fois par heure. Afin de constamment entraîner et contrôler le modèle, 10 % des sessions sont toujours servies avec une variation aléatoire.
Si une nouvelle variation est ajoutée à un test existant, les scores relatifs aux variations existantes sont conservés, mais les nouvelles variations se voient attribuer un score basé sur le nombre de variations. Par exemple, s’il y a 2 variations avec des scores de 10 % et de 90 %, et qu’une nouvelle variation est ajoutée, le score de la nouvelle variation commence à 33,3 %, et les 2 scores d’origine sont réduits (10 % et 90 % des scores restants) 66 % = 6,6 % et 60 %).
Si une variation existante est modifiée, elle est considérée comme une nouvelle variation, et son score est réinitialisé.