Le rapport d’historique des tests A/B fournit une vue d’ensemble de votre programme de tests A/B (expériences avec l’attribution de tests A/B et au moins 2 variations ou 1 variation et un groupe témoin). Ce rapport vous aide à répondre à des questions telles que :
- Quels ont été les tests A/B les plus réussis ?
- Combien de tests ont permis d’augmenter les conversions ?
- Combien de tests avez-vous effectués sur votre site ?
- Y a-t-il autant de tests aujourd’hui qu’au cours des trimestres précédents ?
Télécharger le rapport
Vous pouvez télécharger le rapport d’historique des tests A/B en cliquant sur « A/B Test History » (Historique des tests A/B) sur la tuile du Tableau de bord « A/B Tests » (tests A/B).
Indicateurs du rapport
Le rapport est un fichier CSV, dans lequel chaque ligne représente une variation d’une version de test au sein d’une expérience qui utilise la méthode d’attribution des tests A/B et qui a au moins deux variations actives.
| Colonne | Description |
|---|---|
| Campaign Name | Le nom de la campagne à laquelle l’expérience appartient. |
| Experience Name | Le nom de l’expérience. |
| Version Id | L’identifiant interne de la version de test. |
| Start Date | La date de début de la version de test. |
| End Date | Date à laquelle la version du test s’est terminée, ou « Still Running » (en cours). |
| Days Running | La durée de la version de test en jours. |
|
Variation Name |
Le nom de la variation. |
| Impressions | La somme des impressions de la variation dans cette version. |
| Clicks | La somme des clics de la variation dans cette version. |
| Primary Metric | L’ indicateur principal est utilisé pour déterminer la variation gagnante du test A/B. L’indicateur principal affecte les calculs de la probabilité d’être le meilleur, de l’augmentation et de la déclaration du gagnant. |
| Normalization Type | Le type de dénominateur utilisé pour normaliser la mesure. Par exemple, les utilisateurs, les sessions, les impressions et les achats. |
| Normalization | Le nombre du dénominateur. |
| Metric Totals | Le nombre ou la somme de l’indicateur. |
| Metric Totals Excluding Outliers | Le nombre ou la somme de l’indicateur, à l’exclusion des valeurs aberrantes. |
| Declaration | Si la variation a été déclarée gagnante ou non. |
| Declaration Excluding Outliers | Si la variation a été déclarée gagnante sur la base des données excluant les valeurs aberrantes. |
| Report | Un lien direct vers le rapport de l’expérience. |
Remarque : seules les versions de test actives après le 1er janvier 2018 sont incluses. Pour les clients utilisant le centre de données européen de Dynamic Yield, les tests doivent avoir été actifs après le 28 janvier 2019 pour être inclus.
Analyse exécutive du programme de test A/B - Modèle Excel
Le modèle d’analyse de synthèse du programme de tests A/B fournit une couche visuelle au fichier CSV brut de l’historique des tests A/B que vous pouvez télécharger sur la console Dynamic Yield. Ce modèle peut vous aider à partager le succès et l’impact de votre programme de tests A/B au sein de votre organisation, à obtenir de nouvelles informations précieuses et à identifier d’autres opportunités d’optimisation.
Pour commencer, téléchargez le modèle de synthèse du programme de test A/B :
https://www.dynamicyield.com/
Ce modèle comprend des macros pour réaliser une partie de l’analyse des données. Lorsque vous ouvrez le fichier pour la première fois, il se peut qu’un message vous demande de confirmer que vous faites confiance à la source des macros. Cliquez sur « Enable Macros » (activer les macros).
Une fois le modèle ouvert, il se peut qu’un deuxième message apparaisse en haut du tableau. Cliquez sur « Enable Content » (activer le contenu).
Que contient le modèle Synthèse du programme de test A/B ?
Le modèle contient 4 feuilles : la feuille de synthèse, avec le tableau de bord ; une feuille qui contient les données brutes de l’historique des tests A/B ; et 2 feuilles supplémentaires sur lesquelles vous pouvez effectuer des manipulations sur les données et les calculs affichés sur le tableau de bord.
Le tableau de bord de synthèse comprend 5 zones qui fournissent des informations précieuses :
- Des indicateurs clés de performance qui résument le succès de l'historique des tests A/B, ainsi que des graphiques pour voir où vous vous situez par rapport à des centaines de marques qui se trouvent dans la base de données Dynamic Yield :
- Tests : le nombre de versions de tests A/B (si vous avez modifié un test en cours d’exécution, il apparaîtra sur deux lignes).
- Running tests (tests en cours) : le nombre de tests en cours d’exécution.
- Avg. Monthly tests (nombre moyen de tests par mois) : rapport entre le nombre total de tests et le nombre total de mois écoulés depuis le lancement du premier test.
- Learn Rate (taux d’apprentissage) : rapport entre le nombre de tests ayant donné des résultats concluants et le nombre total de tests. Cela peut vous donner une idée précise sur la qualité de la personnalisation et de l’optimisation de vos tests A/B. Par exemple, des règles de ciblage trop restrictives ou un trop grand nombre de variations peuvent empêcher le système de tirer des conclusions dans un délai raisonnable.
- Win Rate (taux de réussite) : rapport entre le nombre de tests avec des résultats concluants et une variation gagnante du groupe non-témoin et le nombre total de tests. Ici, en plus des critères de personnalisation et d’optimisation, vous avez une indication du pourcentage de tests avec un groupe témoin et si vos hypothèses de départ sont bien définies.
- Median Uplift (augmentation médiane) : médiane de toutes les augmentations des indicateurs primaires des tests A/B. Il s’agit d’une indication générale du succès des variations par rapport à leurs groupes témoins.
- Un graphique visualisant le volume et la cadence des nouveaux tests lancés.
- Une section de tests remarquables en termes d’impact sur le chiffre d’affaires (généré et potentiel). Utilisez cette section pour revenir en arrière et apprendre ce qui a fait bouger l’aiguille.
- Un rappel des tests récemment lancés et des actions possibles à appliquer sur votre console Dynamic Yield.
- Une ventilation de certains indicateurs clés de performance en fonction des paramètres principaux définis dans vos tests.
Comment exporter vos données
- Téléchargez le fichier CSV de l’historique des tests A/B sur la page d’accueil de la console de votre site.
- Ouvrez le modèle et rendez-vous sur l'onglet « Import Data Here » (importer les données ici). Sélectionnez toutes les données, puis cliquez sur « Delete » (supprimer). Sur la fenêtre d’alerte qui apparaît, cliquez sur « Yes » (oui).
- Sur l’onglet « File » (fichier) du menu supérieur d’Excel, cliquez sur « Import » (importer).
- Sur la boîte de dialogue Import (importer), sélectionnez « CSV file » (fichier CSV), puis cliquez sur « Import » (importer).
- Sur la fenêtre de navigation, recherchez le fichier CSV que vous avez téléchargé et cliquez dessus. Cliquez ensuite sur « Get Data » (obtenir les données). L’Assistant d’importation de texte (Text Import Wizard) apparaît.
- À l’étape 1 de l’assistant d’importation, sélectionnez « Unicode (UTF-8) » pour « Suggested file origin » (origine suggérée du fichier), puis cliquez sur Next (suivant).
- À l’étape 2 de l’assistant d’importation, veillez à sélectionner « Comma » (virgule en anglais) et à désélectionner « Tab » (ou tabulation), le cas échéant. Cliquez sur « Next » (suivant).
- À l’étape 3 de l’assistant d’importation, cliquez sur « Finish » (terminer).
La boîte de dialogue Import Data (importation de données) apparaît.
Important : vérifiez que l’emplacement des données nouvellement importées correspond bien à la première cellule du tableau : « =$A$1 ». Click « OK ».
Vos données sont à présent mises à jour. - Pour terminer le processus d’importation, rendez-vous sur l’onglet « Calcs », puis localisez les deux tableaux croisés dynamiques (ils ont tous les deux un en-tête bleu). Cliquez avec le bouton droit de la souris n’importe où dans la plage du premier tableau croisé dynamique, puis cliquez sur « Refresh » (actualiser). Répétez cette étape pour le second tableau croisé dynamique.
Votre feuille de synthèse est maintenant actualisée avec les données CSV et vous pouvez l’inspecter.