Capire la significatività statistica nelle campagne di Klaviyo
Imparerai
Scopra come capire se un test A/B è considerato staticamente significativo o meno. Per esempio, se la variante A di una campagna ha un tasso di apertura del 15% e la variante B ha un tasso di apertura del 14%, come si fa a sapere con certezza se la variante A o B ha ottenuto risultati migliori?
Nota sulla protezione della privacy di Apple Mail
Con il rilascio di iOS15, macOS Monterey, iPadOS 15 e WatchOS 8, Apple Mail Privacy Protection (MPP) ha cambiato il modo in cui riceviamo i dati sul tasso di apertura delle tue email mediante il recupero preliminare del nostro pixel di tracciamento. Con questo cambiamento, è importante capire che i tassi di apertura saranno gonfiati.
Per quanto riguarda i test A/B, prevediamo che i nostri strumenti dovrebbero tenere conto di questi tassi di apertura gonfiati; tuttavia, potrebbe essere necessaria una soglia più alta per raggiungere la significatività statistica. Se effettua regolarmente test A/B e ha più del ~45% di aperture su Apple Mail, suggeriamo di creare un report personalizzato che includa una proprietà MPP. Può anche identificare queste aperture nei suoi segmenti di abbonati individuali.
Per informazioni complete sulle aperture MPP, visita la nostra guida iOS 15: come prepararsi ai cambiamenti di Apple.
Categorie di significatività statistica
La significatività statistica è quando Klaviyo è matematicamente in grado di determinare se una variazione produrrà un miglioramento delle prestazioni. Per le campagne, Klaviyo osserva sia il numero di persone che hanno ricevuto un messaggio che la probabilità di vittoria, ossia la probabilità che una variante produca risultati migliori in base a quanto supera le altre varianti.
Durante i test A/B, dovrebbe evitare qualsiasi fattore che possa influenzare in modo significativo il suo pubblico; ad esempio, non rifaccia il test in prossimità di un fine settimana festivo, quando è molto più probabile che il suo pubblico cerchi le sue e-mail.
Quando si tratta di campagne di test A/B, ci sono quattro categorie per la significatività statistica:
- Statisticamente significativo
- Promettente
- Non statisticamente significativo
- Inconcludente
Nelle prossime sezioni, esamineremo quando un test rientra in ciascuna di queste categorie.
Non hai tempo per leggere? paga l'albero decisionale in fondo a questo articolo.
Statisticamente significativo
Il tag statisticamente significativo del suo test A/B significa che una determinata variante del test ha un'alta probabilità di vincere rispetto alle altre opzioni. Indica anche che sarebbe in grado di riprodurre i risultati e di applicare ciò che ha imparato ai suoi invii futuri.
Per le campagne Klaviyo, un risultato del test A/B è considerato statisticamente significativo quando:
- 50 persone hanno ricevuto ogni variante.
- La probabilità di vincita è di almeno il 90%.
Questo assicura che un campione sufficientemente ampio di destinatari abbia visto il test A/B e che la variante vincente abbia ampiamente superato le altre per la metrica vincente scelta (che, per le campagne, è il tasso di apertura, il tasso di clic o il tasso di ordini effettuati).
Ad esempio, supponiamo che tu stia testando se un emoji nell'oggetto influisce o meno sul tasso di apertura. I risultati del test mostrano che la variante vincente è quella con l'emoji e c'è una significatività statistica verde tag. In questo caso, puoi essere certo che un oggetto con un'emoji avrà sempre un rendimento migliore di uno senza: non c'è bisogno di ripetere il test.
Tuttavia, deve sempre usare il suo miglior giudizio quando agisce in base ai risultati del test. Se sta inviando un messaggio più serio o cupo, ad esempio, un'emoji potrebbe non essere appropriata.
Promettente
Quando i risultati sono promettenti, sembra che una variante abbia prestazioni migliori rispetto alle altre, ma la prova non è abbastanza forte dal test in sé. Se un test è considerato promettente, non apparirà alcuna etichetta che lo indichi; tuttavia, vedrà un avviso che le indicherà di rieseguire il test.
Per un risultato promettente, dovrebbe eseguire un altro test A/B, in modo da avere maggiori certezze. Per esempio, tornando all'esempio di emoji di cui sopra, se i risultati sono promettenti, esegua nuovamente questo test. Se continua a vedere risultati promettenti a favore delle emoji dopo diversi test A/B, può fidarsi del fatto che le emoji hanno un impatto leggero ma positivo sul suo pubblico, e dovrebbe continuare a usarle nelle campagne.
Per le campagne, il risultato di un test A/B è considerato promettente quando:
- 50 persone hanno ricevuto ogni variante.
- La probabilità di vincita è compresa tra il 75% e l'89%.
Non statisticamente significativo
Se qualcosa non è statisticamente significativo, una variante batte l'altra (o le altre) nel test solo di poco e potresti non essere in grado di replicare il risultato in un altro test.
Nel nostro esempio, questo potrebbe significare che la variante con le emoji ha battuto la variante senza emoji, ma solo di pochissimo; non abbastanza perché il risultato del test sia significativo.
In questo caso, ti consigliamo di testare nuovamente questo fattore per altre 2 o 3 volte e di tenere sotto controllo i risultati.
Se continui a vedere che il risultato del test non è ritenuto statisticamente significativo, non continuare a fare il test, ma passa al test A/B di un altro argomento. Se un test rientra in questa categoria, nella pagina dei risultati del test A/B apparirà un tag grigio con la dicitura Non statisticamente significativo.
Per le campagne, un risultato di un test A/B è considerato non statisticamente significativo quando:
- La probabilità è inferiore al 75% e almeno 1.800 persone hanno ricevuto ciascuna variante.
Oppure - Ogni variante è stata ricevuta da meno di 1.800 persone, la differenza percentuale tra la variante in testa e quella in seconda posizione è pari o inferiore al 4% e la probabilità di vittoria è inferiore al 60%.
Inconcludente
Se un test è inconcludente, significa che non ci sono abbastanza informazioni per determinare se qualcosa è statisticamente significativo o meno. Se i risultati del test non corrispondono a nessuno dei criteri per le opzioni di cui sopra, si rientra nella categoria "inconcludente". Può visualizzare questo aspetto utilizzando l'albero decisionale mostrato nella prossima sezione. Si noti che i test non conclusivi non mostreranno un'etichetta che indica se il test è statisticamente significativo o meno nella pagina dei risultati.
In questo caso, potrebbe voler ampliare il suo pubblico per eventuali test di follow-up. Se ha un piccolo gruppo con cui sta facendo il test, interpreti i risultati come meglio crede e rifaccia il test per verificare che ciò che ha scoperto sia accurato. Inoltre, si concentri sulla conoscenza dei suoi abbonati attraverso altri mezzi; ad esempio, indagini, sondaggi, ecc.
Albero decisionale della significatività statistica
Il seguente albero decisionale mostra quando un test A/B rientra in ciascuna categoria. Le linee verdi indicano che la risposta è "sì", mentre il rosso rappresenta il "no".
Risorse aggiuntive
- Come rivedere i risultati dei test A/B per le campagne
Scopra quali dati può trovare nella pagina dei risultati del test A/B e cosa significa ciascuno di questi indicatori. Le informazioni contenute in questa guida si applicano sia ai test A/B delle campagne e-mail che a quelli delle campagne SMS.
Scopra come effettuare il test A/B delle sue e-mail:
- Come fare il test A/B di un flusso e-mail
Impari a utilizzare l'esperienza di test A/B di Klaviyo per testare le singole e-mail in un flusso, compresi elementi come la riga dell'oggetto, gli sconti, il contenuto dell'e-mail, ecc. Può anche utilizzare i test A/B per determinare se le e-mail in testo semplice hanno un rendimento migliore rispetto a quelle in HTML con immagini.
- Come fare il test A/B di una campagna e-mail
Scopra come impostare ed eseguire un test A/B per una campagna, come leggere i risultati del test e alcuni casi d'uso del test A/B per la campagna. KlaviyoLa funzione di test A/B per la campagna le permette di testare facilmente diversi oggetti, contenuti del messaggio e ora di invio, in modo da capire meglio cosa funziona meglio per il suo pubblico.