I test A/B sono esperienze che utilizzano il metodo di allocazione corrispondente e hanno almeno due varianti attive. Puoi visualizzare il rapporto per queste esperienze facendo clic sull'icona in qualsiasi pagina in cui sono elencate campagne o esperienze oppure tramite il riquadro Test A/B della Dashboard.
Il rapporto ti consente di valutare i risultati di un test e di trarre conclusioni, offrendoti al contempo la flessibilità di scoprire ulteriori approfondimenti applicando la segmentazione ed esplorando metriche secondarie.
Nota: Abbiamo pubblicato una nuova generazione di rapporti sui test A/B il 17 dicembre 2023. Questo articolo descrive le funzionalità dei nuovi rapporti. I nuovi rapporti sono disponibili per tutti i test attivati dopo il 1° luglio 2023, mentre i test conclusi prima di questa data rimangono disponibili con i rapporti precedenti.
Selezione della versione di prova
Per impostazione predefinita, il rapporto presenta i risultati della versione più recente o corrente del test. Puoi selezionare una versione precedente del test dal menu a discesa Versione:
nel pannello Riepilogo viene visualizzato un riepilogo dei risultati della versione selezionata:
Il riepilogo include:
- Le date in cui è stata eseguita la versione di test selezionata.
- I risultati del test sul traffico complessivo. Una versione è evidenziata se è stata dichiarata vincente.
- I risultati del test sui segmenti di pubblico primari. Una versione è evidenziata se è stata dichiarata vincente per il segmento di pubblico.
- Opportunità di personalizzazione rilevate dal Targeting predittivo.
Confronto tra le prestazioni delle varianti
Le visualizzazioni del rapporto ti consentono di confrontare le prestazioni delle singole varianti.
Tabella Prestazioni delle varianti
La tabella mostra i risultati dei test per variante e metrica, con i risultati basati sulla metrica principale come impostazione predefinita. Fai clic sul pulsante Metriche per aggiungere metriche secondarie alla tua analisi. Queste vengono visualizzate in tabelle aggiuntive sotto la tabella delle metriche primarie.
La struttura di ciascuna tabella è simile per le metriche primarie e secondarie, con una riga per ogni variante e i campi descritti nella tabella seguente:
| Campo | Definizione |
|
Unità di normalizzazione Esempi: Utenti, Sessioni |
A seconda della persistenza, questa è l'unità con cui viene normalizzata la metrica scelta:
Il conteggio si trova sotto il nome di ciascuna variante. |
|
Totali metriche Esempi: Acquisti, Ricavi |
Se la metrica selezionata è un evento o un obiettivo, ad esempio Acquisti, questo è il numero di acquisti attribuiti alla variante. Se la metrica selezionata è il valore di un evento, come il ricavo di in acquisto, questo è il valore totale dell'evento attribuito alla variante. Altre metriche comuni, non legate agli eventi, sono i clic e le visualizzazioni di pagina. |
|
Metrica normalizzata Esempi: Acquisti/Utente, Ricavo/Utente |
Il totale della metrica diviso per l'unità di normalizzazione del test. Questa metrica consente di confrontare le prestazioni di diverse varianti in modo equo, normalizzando i risultati in base all'esposizione effettiva che hanno ricevuto. |
| Incremento | Il rapporto tra la metrica normalizzata di ciascuna variante e quella del gruppo di controllo, meno 1. Questa metrica viene proposta solo se esiste un gruppo di controllo o se è stata selezionata una variante di base. Puoi scegliere quale variante utilizzare come base sopra la tabella Prestazioni variante. |
| Probabilità di essere la migliore |
La possibilità che ogni variante superi tutte le altre varianti nel test. Si tratta di un calcolo che tiene conto della È un calcolo che tiene conto della differenza di prestazioni di ciascuna variante e della fiducia statistica che abbiamo nei risultati. Questa è la metrica più utile dei risultati dei test A/B, in quanto definisce quando i risultati sono conclusivi e quando puoi applicare la variante vincente a tutto il traffico. Se una variante è stata dichiarata vincente, accanto a Probabilità di essere la migliore compare una coppa con un trofeo, mentre gli incrementi sono colorati di verde o di rosso. Una variante viene dichiarata vincente se:
|
| Probabilità di battere il riferimento di controllo | La possibilità che una variante superi la linea di base. La probabilità di battere il riferimento di controllo equivale alla probabilità di essere la migliore, ma ogni variante competerà solo contro la linea di base piuttosto che con tutte le altre varianti. È utile nei test con più di due varianti, in cui più varianti potrebbero avere prestazioni superiori al riferimento di controllo, ma simili tra loro. Questo significa che nessuna singola variante può avere un'alta probabilità di essere la migliore, ma ognuna può avere un'alta probabilità di battere il riferimento di controllo. |
| Intervalli di credibilità |
Un intervallo di credibilità è un intervallo che acquisisce il valore vero probabile di una metrica con una certa probabilità. Gli intervalli di credibilità sono la controparte bayesiana degli intervalli di confidenza frequentisti ma, a differenza di questi ultimi, si possono interpretare al valore nominale: un intervallo di credibilità del 95% contiene il valore vero probabile della metrica con una probabilità del 95%. Gli intervalli di credibilità al 95% e 50% di probabilità sono disponibili sia per la metrica (primaria o secondaria) che per l'incremento. |
Selezione di una variante di base
Se un test non ha un gruppo di controllo predefinito, ma desideri utilizzare una variante specifica come linea di base per il calcolo dell'incremento e della probabilità di battere il riferimento di controllo, puoi selezionare una variante dal menu a discesa Linea di base.
Lavorare con gli intervalli di probabilità
Per impostazione predefinita, i rapporti mostrano intervalli di credibilità basati sul testo, che rappresentano l'intervallo di credibilità del 95% sia per la metrica normalizzata che per l'incremento.
Usa, invece, il pulsante di attivazione/disattivazione nel menu Opzioni aggiuntive per visualizzare gli intervalli di credibilità geografici.
Gli intervalli grafici sono un ottimo modo per confrontare visivamente le varianti e, oltre agli intervalli del 95% (linea orizzontale sottile), visualizzano anche gli intervalli del 50% (linea orizzontale spessa).
L'intervallo per la linea di base selezionata è colorato in grigio e presenta linee tratteggiate per un confronto più facile con le altre varianti (tieni presente che l'intervallo per l'incremento della linea di base non esiste).
Passando con il mouse su un intervallo viene visualizzata una descrizione comando che contiene i valori dell'intervallo.
Grafico nel tempo
Fai clic sul pulsante Dati nel tempo nella tabella Prestazioni della variante per visualizzare i risultati giornalieri per la metrica selezionata, per ciascuna variante.
È possibile tracciare i totali assoluti o normalizzati per la metrica selezionata come risultati giornalieri o cumulativi.
Mentre i risultati giornalieri sono utili per esaminare le fluttuazioni giornaliere, i risultati cumulativi sono utili per vedere come la stima della metrica normalizzata converge nel tempo man mano che si raccolgono i dati.
Lavorare con gli intervalli di tempo
Per impostazione predefinita, i rapporti visualizzano tutti i dati per la versione selezionata (il pulsante Periodo di tempo visualizza Complessivo). Puoi anche fare clic sul pulsante Periodo di tempo e filtrare in base a un periodo di tempo specifico all'interno della versione selezionata:
Tieni presente che non puoi selezionare un periodo di tempo che abbraccia più versioni; ossia che fonde i dati di più versioni. Questa limitazione serve per assicurare che le varianti siano confrontabili le une con le altre.
Comportamento del periodo di tempo con la persistenza degli utenti
Quando filtri in base a un intervallo di tempo che non include l'inizio del test, tutti gli utenti che sono stati esposti al test prima dell'intervallo di tempo vengono esclusi dai risultati, compresa la loro eventuale attività nell'intervallo di tempo selezionato.
Questa limitazione serve per assicurare che le varianti siano confrontabili e per prevenire problemi con le survivorship bias, una forma di bias di selezione, in quanto la popolazione di utenti osservata nell'intervallo di tempo selezionato potrebbe venire altrimenti influenzata dall'esposizione al test prima dell'intervallo di tempo.
Ad esempio, se i dati della versione completa includono due utenti e due acquisti:
Selezionando il periodo di tempo successivo si escluderebbe l'utente 1 e il suo acquisto, perché la sua prima esposizione al test è avvenuta prima del periodo di tempo selezionato e il suo acquisto potrebbe quindi essere influenzato da qualcosa al di fuori del periodo di tempo selezionato.
Un'applicazione conveniente di questo comportamento è che, per qualsiasi intervallo di tempo selezionato, i risultati del test si basano su utenti completamente nuovi che hanno sperimentato la tua campagna per la prima volta nel periodo di tempo indicato. Ciò può essere utile, ad esempio, per escludere l'effetto di una promozione avvenuta nella settimana 1 di un test che dura più settimane.
Anche se il filtraggio per periodi di tempo specifici può essere utile a seconda del contesto, generalmente ti consigliamo vivamente di:
- Trarre conclusioni utilizzando tutti i dati raccolti.
- Utilizzare sottoinsiemi dei dati completi che contengono settimane intere.
Comportamento del periodo di tempo con la persistenza delle sessioni
Il comportamento descritto nella sezione precedente si applica concettualmente, ma non praticamente, ai test con la persistenza delle sessioni. Questo perché, ai fini dei rapporti sui test A/B, le sessioni terminano a mezzanotte e, quindi, ogni singola data del periodo di tempo selezionato contiene sessioni complete ed eventi attribuiti completi.
Oggi (dati in tempo reale)
Selezionando Oggi nel filtro dell'intervallo di tempo, puoi accedere a una versione semplificata del rapporto che mostra tutte le attività del giorno corrente in tempo reale. Tieni presente che questa vista è progettata per monitorare la vivacità e la corretta esecuzione di un test e non include funzionalità di reporting come la ripartizione del pubblico o la gestione delle anomalie. Inoltre, a causa della quantità potenzialmente elevata di dati in tempo reale che vengono interrogati, questa vista potrebbe richiedere più tempo per essere popolata rispetto ai periodi di tempo precedenti.
Ripartizione del pubblico
Usa l'elenco a discesa Ripartizione del pubblico per segmentare i risultati del test in base al segmento di pubblico.
Dopo aver selezionato un segmento di pubblico dall'elenco, tutte le tabelle verranno ripartite in base a quel segmento e indicano la percentuale di utenti o sessioni totali che appartengono a quel segmento.
Tutte le funzionalità delle tabelle disponibili senza ripartizione dell'audience esistono anche per la ripartizione, ad eccezione dei dati nel tempo, che sono disponibili solo per il traffico complessivo.
Nota: la funzione Ripartizione del pubblico considera gli utenti come parte di un segmento di pubblico solo se erano in quel pubblico al momento della loro prima interazione con la versione del test. Se un utente entra nel segmento di pubblico dopo aver interagito per la prima volta con la variante, non è considerato parte di quel segmento pubblico nella ripartizione del pubblico.
Gestione delle anomalie
Le anomalie sono osservazioni strane che, anche se rare, possono avere un peso sufficiente a distorcere i risultati di un test. Dynamic Yield rileva e gestisce due tipi di anomalie:
- Valori estremi dell'evento : si applica a ogni evento o obiettivo con il valore fornito.
- Utenti con un numero estremo di eventi: si applica a ogni evento o obiettivo (a partire dal 1° luglio 2023).
Se Dynamic Yield dovesse rilevare che il valore di un evento basato sui ricavi o il numero di eventi effettuati da un utente specifico supera una soglia, l'evento o l'utente viene etichettato come anomalia e viene sostituito o escluso dai risultati, a seconda del tipo di anomalia. Scopri di più sulla nostra Gestione delle anomalie.
Per impostazione predefinita, i rapporti sui test A/B escludono le anomalie, ma puoi includerle disattivando il pulsante di attivazione/disattivazione nel menu a discesa Opzioni aggiuntive .
Entrambi i tipi di anomalie (valori estremi di eventi e utenti con un numero estremo di eventi) vengono esclusi tramite lo stesso selettore. Tutti i numeri presenti nel rapporto sono influenzati da questo selettore, ad eccezione di Targeting predittivo che elabora sempre i risultati senza le anomalie.
Puoi esportare un registro di tutti gli eventi con valori contrassegnati come anomali per un test specifico e il modo in cui il loro valore è stato gestito, utilizzando l'esportazione del registro degli eventi Ricavi descritta nella sezione successiva.
Esportazione dei dati dei rapporti
Puoi esportare i dati dei rapporti in un file CSV per analizzarli ulteriormente in una piattaforma diverso o condividerli esternamente facendo clic su Esporta.
Sono disponibili due opzioni di esportazione:
- Rapporto completo:una versione CSV del rapporto, che include tutte le metriche secondarie e la ripartizione del pubblico (se applicata).
- Registro degli eventi Ricavi: un registro che include tutti gli eventi con valore di evento (come Acquisto), con informazioni sul fatto che siano stati contrassegnati come anomali a causa di un valore di evento estremo o perché l'utente che li ha eseguiti è stato contrassegnato come utente con un numero estremo di eventi.
Frequenza di aggiornamento
Il rapporto sui test A/B viene calcolato ogni notte poco dopo la mezzanotte, a seconda del fuso orario selezionato nelle Impostazioni generali della sezione. I risultati del giorno precedente dovrebbero essere disponibili entro le 9 del mattino nel fuso orario selezionato.
Disponibilità
Il rapporto sui test A/B è disponibile se:
- La tua esperienza utilizza il metodo di assegnazione dei test A/B e ha almeno due varianti attive.
- L'esperienza è stata attivata a partire dal 1° luglio 2023. I test che si sono conclusi prima di questa data rimangono disponibili con i rapporti precedenti.
Domande frequenti
Quali visualizzazioni di pagina vengono conteggiate nella metrica delle Visualizzazioni di pagina?
La metrica delle Visualizzazioni di pagina conta le visualizzazioni attribuibili a una determinata variante, ossia, che si sono verificate dopo che la variante è stata proposta all'utente.
Come viene calcolato l'incremento?
L'incrementoconfronta le prestazioni di ciascuna variante con il gruppo di controllo. È rilevante solo se hai definito un gruppo di controllo o una variante di base. Il calcolo si effettua come segue: (metrica normalizzata della variante / gruppo di controllo o metrica normalizzata di base) -1. Ad esempio, se Ricavi/Utente di una variante è 5 $, ma solo 4 $ per il gruppo di controllo, il calcolo è il seguente: (5 / 4) -1 = 0,25, ossia un incremento del 25%.
Perché non vedo le informazioni sui clic o sui CTR?
La metrica CTR viene proposta solo nei tipi di campagna che eseguono il rendering del codice HTML (come Raccomandazioni, Contenuto dinamico e Sovrapposizione). Ciò è dovuto al fatto che i CTR misurano i clic sull'elemento HTML di cui viene eseguito il rendering. Pertanto, i tipi di campagna che non eseguono il rendering di alcun codice HTML (come Codice personalizzato o Modifica visiva) non possono tenere traccia dei clic. Se vuoi misurare i clic per una di queste tipologie di campagna, puoi attivare un evento personalizzato facendo clic sull'elemento per il quale vuoi monitorare i clic.
Nelle campagne multi-touch, i clic vengono tracciati solo sui touchpoint (che potrebbero avere un elemento HTML) e non sulla variante madre.
Perché mi mancano degli utenti quando confronto la ripartizione del pubblico con la popolazione complessiva?
Nei rapporti sui test A/B, quando si suddividono i risultati in base ai segmenti di pubblico, puoi notare che alcuni utenti non vengono segmentati in nessun segmento di pubblico. Ciò avviene perché gli utenti devono far parte del pubblico selezionato al momento della loro prima interazione con la variante. Da cosa può derivare?
- La variante reindirizza l'utente a un'altra pagina subito dopo essere stata proposta. Ciò può causare la mancanza di dati nella ripartizione del pubblico, fino al 100% dei dati. Scopri come evitarlo utilizzando questa guida sui Test di suddivisione/reindirizzamento.
- Gli utenti hanno abbandonato il sito o la pagina immediatamente dopo aver visualizzato la variante.
- Nel pubblico del tipo di dispositivo: se il dispositivo è sconosciuto (non uno smartphone, un tablet o un desktop).
Nota: i dati di Tutti gli utenti includono le informazioni di tutti gli utenti, anche se i loro dati non vengono visualizzati nella ripartizione del pubblico.