Come rivedere i risultati dei test A/B per le campagne
Imparerai
Scopra quali dati può trovare nella pagina dei risultati del test A/B e cosa significa ciascuno di questi indicatori. Le informazioni contenute in questa guida si applicano sia ai test A/B delle campagne e-mail che a quelli delle campagne SMS.
Le campagne di test A/B possono fornire preziose informazioni sul suo pubblico, semplificando la determinazione delle modifiche da apportare alla sua strategia di invio. Non solo conoscerà la variante vincente per un test A/B, ma anche altri fattori importanti, come la percentuale di fiducia nella vittoria e i dettagli della metrica vincente.
Risultati del test A/B
Per vedere i risultati di un test A/B:
- Si rechi alla campagna che sta testando.
- Selezioni la scheda Risultati del test A/B del rapporto principale della campagna.
Panoramica del test
Nella sezione Risultati del test, vedrà un'istantanea con quanto segue:
- Variazione vincente
Una volta completato un test, la variante che ha vinto. - Stato
Se il test A/B è in corso (cioè sta raccogliendo analisi) o è completo. - Probabilità di vittoria
Quanto è probabile che la variante vincente abbia davvero il tasso di apertura, di clic o di ordini effettuati più alto, dopo aver preso in considerazione il caso casuale, e se questa probabilità è considerata statisticamente significativa. - Sollevare
Quanto meglio si è comportata la variante vincente rispetto all'altra variante. Calcolato in base alla metrica vincente (ad esempio, tasso di apertura, tasso di clic o tasso di ordine effettuato). Per i test con più di 3 varianti, viene utilizzato il secondo test con le migliori prestazioni per il confronto. - Metrica vincente
I risultati della variante vincente per la metrica utilizzata per il test. Ad esempio, se il tasso di apertura è stato scelto come metrica vincente, verrà mostrata la percentuale di apertura.
Sotto questi risultati, può esaminare i tassi di apertura, di clic e di ordini effettuati per ogni variante del test.
Come si calcola la portanza
La percentuale di sollevamento è diversa dalla percentuale indicata per la sua variante vincente. Questo perché la percentuale indicata accanto a ciascuna variante è la percentuale di persone che hanno interagito con l'e-mail (apertura, clic, ordine effettuato), mentre la portanza è la percentuale di miglioramento che il vincitore ha avuto rispetto all'altra variante.
Ad esempio, se utilizza il tasso di clic come metrica vincente e la variante A ha 5/100 (5%) di clic dei destinatari e la variante B ha 4/100 (4%) di clic dei destinatari, la differenza tra le varianti è di 1 clic. Ciò significa che il sollevamento è stato di 1/5 (20%). In altre parole, il sollevamento è stato del 20% con la variante A che aveva un tasso di clic del 5% e la variante B con un tasso di clic del 4%.
Risultati di variazione personalizzati
L'opzione di scegliere una strategia di prova è disponibile solo per i conti con più di 400.000 profili totali. Se il suo conto non si qualifica, Klaviyo utilizzerà la strategia di prova della variante vincente.
Se ha scelto l'opzione di personalizzare le varianti per ogni destinatario, vedrà delle metriche leggermente diverse nella pagina dei risultati del test, tra cui le seguenti:
- Sollevamento totale del test A/B
La performance della variante migliore rispetto alla seconda variante migliore. Calcolato in base alla metrica vincente (ad esempio, tasso di apertura o tasso di clic). - Sollevamento della personalizzazione
Percentuale di quanto ha avuto più successo il test personalizzato rispetto a un test A/B standard. - Tasso di clic della personalizzazione
Il tasso medio di clic tra tutte le varianti di profili che hanno ricevuto la loro variante preferita. - Caratteristiche del profilo derivate dall'AI di Klaviyo
Un elenco dei dati utilizzati dall'AI per determinare un modello tra i profili che hanno preferito una variante specifica, ossia quali fattori hanno probabilmente indotto qualcuno a preferire una variante rispetto all'altra. Clicchi su ogni variante per vedere i dati utilizzati, che saranno diversi per ogni variante.
Comprendere la fiducia nella vincita e la significatività statistica
Supponiamo, ad esempio, che lei voglia verificare se l'aggiunta di emoji alla sua riga dell'oggetto influisce sul tasso di apertura della sua lista di e-mail. Se invia il test solo a 2 abbonati e le emoji hanno un tasso di apertura migliore, non può dire con certezza che il resto della sua lista di e-mail la penserà allo stesso modo. Se invece facesse un test con 100 persone della sua lista e-mail e scoprisse che le emoji hanno un tasso di apertura sostanzialmente più alto, si sentirebbe molto più sicuro che l'uso delle emoji nelle righe degli oggetti è migliore per il suo pubblico.
Sotto la voce Win probability, vedrà se la variazione mostrata è statisticamente significativa o meno. Se viene ritenuto significativo, significa che la variazione ha un'alta probabilità di vincita (cioè il 90% o più). Un test potrebbe anche essere promettente, inconcludente o non statisticamente significativo. Per saperne di più sulla significatività statistica in Klaviyo.
Risorse aggiuntive
- Le migliori pratiche per i test A/B di riferimento
Impara le migliori pratiche per utilizzare le funzioni di test A/B di Klaviyo per ottimizzare la comunicazione con i clienti.
- Come fare il test A/B di un modulo di iscrizione
Impari a utilizzare il test A/B per valutare le prestazioni di vari elementi del suo modulo d'iscrizione. Analizzando efficacemente i risultati, può assicurarsi che i suoi moduli risuonino con i visitatori del sito e contribuiscano all'elenco crescita.
- Come fare il test A/B di un flusso e-mail
Impari a utilizzare l'esperienza di test A/B di Klaviyo per testare le singole e-mail in un flusso, compresi elementi come la riga dell'oggetto, gli sconti, il contenuto dell'e-mail, ecc. Può anche utilizzare i test A/B per determinare se le e-mail in testo semplice hanno un rendimento migliore rispetto a quelle in HTML con immagini.
- Come fare il test A/B di una campagna e-mail
Scopra come impostare ed eseguire un test A/B per una campagna, come leggere i risultati del test e alcuni casi d'uso del test A/B per la campagna. KlaviyoLa funzione di test A/B per la campagna le permette di testare facilmente diversi oggetti, contenuti del messaggio e ora di invio, in modo da capire meglio cosa funziona meglio per il suo pubblico.