Comprender la significación estadística en las campañas de Klaviyo
Qué aprenderás
Aprenda a saber si una prueba A/B se considera estáticamente significativa o no. Por ejemplo, si una variación de la campaña A tiene una tasa de apertura del 15% y la variación B tiene una tasa de apertura del 14%, ¿cómo puede saber con certeza si la variación A o la B funcionaron mejor?
Nota sobre la protección de privacidad de Apple Mail
Con el lanzamiento de iOS15, macOS Monterey, iPadOS 15 y WatchOS 8, Apple Mail Privacy Protection (MPP) ha cambiado la forma en la que recibimos los datos de la tasa de apertura de tus correos electrónicos al preobtener nuestro píxel de seguimiento. Con este cambio, es importante entender que las tasas de apertura se inflan.
Con respecto a las pruebas A/B, prevemos que nuestras herramientas deberían tener en cuenta estas tasas de apertura infladas; sin embargo, es posible que necesite un umbral más alto para alcanzar la significación estadística. Si realiza regularmente pruebas A/B Y tiene más de un ~45% de aperturas en Apple Mail, le sugerimos que cree un informe personalizado que incluya una propiedad MPP. También puede identificar estas aperturas en sus segmentos de abonados individuales.
Para obtener información completa sobre las aperturas de MPP, consulta nuestro documento iOS 15: Guía sobre cómo prepararse para los cambios de Apple.
Categorías de significación estadística
La significación estadística es cuando Klaviyo es matemáticamente capaz de determinar si una variación producirá un mejor rendimiento. Para las campañas, Klaviyo observa tanto el número de personas que recibieron un mensaje como la probabilidad de victoria, que es la probabilidad de que una variación produzca mejores resultados en función de lo bien que supere a la(s) otra(s) variación(es).
Cuando realice pruebas A/B, debe evitar cualquier factor que pueda influir significativamente en su audiencia; por ejemplo, no vuelva a realizar pruebas cerca de un fin de semana festivo, cuando es mucho más probable que su audiencia esté buscando sus correos electrónicos.
Cuando se trata de campañas de pruebas A/B, existen cuatro categorías para la significación estadística:
- Estadísticamente significativo
- Prometedor
- No es estadísticamente significativo
- Inconcluso
En las próximas secciones, repasaremos cuándo una prueba entra en cada una de estas categorías.
¿No tienes tiempo para leer? pagar el árbol de decisiones que aparece al final de este artículo.
Estadísticamente significativo
La etiqueta estadísticamente significativa en su prueba A/B significa que es muy probable que una determinada variación de su prueba gane a la(s) otra(s) opción(es). También indica que sería capaz de reproducir los resultados y podría aplicar lo aprendido a sus futuros envíos.
Para las campañas de Klaviyo, el resultado de una prueba A/B se considera estadísticamente significativo cuando:
- 50 personas han recibido cada variante.
- La probabilidad de ganar es de al menos el 90%.
Esto garantiza que una muestra suficientemente grande de destinatarios haya visto la prueba A/B y que la variación ganadora haya superado ampliamente a la otra u otras en la métrica ganadora elegida (que, para las campañas, es la tasa de apertura, la tasa de clics o la tasa de pedidos realizados).
Por ejemplo, digamos que estás probando si un emoji en el asunto de correo electrónico afecta o no a la tasa de apertura. Los resultados de la prueba muestran que la variante ganadora es la que tiene el emoji y hay una etiqueta verde de significación estadística. En este caso, puedes estar seguro de que un asunto de correo electrónico con un emoji funcionará sistemáticamente mejor que uno sin emoji: y no hace falta volver a probarlo.
Sin embargo, siempre debe utilizar su mejor criterio a la hora de actuar en función de los resultados de la prueba. Si está enviando un mensaje más serio o sombrío, por ejemplo, puede que no sea apropiado utilizar un emoji.
Prometedor
Cuando los resultados son prometedores, parece que una variación funciona mejor que la otra u otras, pero las pruebas por sí solas no son lo suficientemente sólidas. Si una prueba se considera prometedora, no aparecerá ninguna etiqueta indicándolo; sin embargo, verá una alerta que le indicará que debe volver a realizar la prueba.
Si el resultado de una prueba es prometedor, debería realizar otra prueba A/B para tener más certeza. Por ejemplo, volviendo al ejemplo del emoji anterior, si los resultados son prometedores, vuelva a realizar esta prueba. Si sigue viendo resultados prometedores a favor del emoji después de varias pruebas A/B, puede confiar en que los emojis tienen un impacto leve pero positivo en su público, y debe seguir utilizándolos en las campañas.
Para las campañas, el resultado de una prueba A/B se considera prometedor cuando:
- 50 personas han recibido cada variante.
- La probabilidad de ganar oscila entre el 75% y el 89%.
No es estadísticamente significativo
Si algo no es estadísticamente significativo, una variante vence a la otra u otras en la prueba sólo por una pequeña cantidad y es posible que no puedas reproducir el resultado en otra prueba.
Para nuestro ejemplo, esto puede significar que la variante con el emoji venció a la(s) variante(s) sin emoji, pero sólo por muy poco; no lo suficiente para que el resultado de la prueba sea significativo.
En este caso, recomendamos volver a probar este factor 2 ó 3 veces más y vigilar de cerca los resultados.
Si sigues viendo que el resultado de la prueba no es estadísticamente significativo, no continúes con la prueba; en lugar de ello, pasa a las pruebas A/B de otro tema. Si una prueba entra en esta categoría, en la página de resultados de la prueba A/B aparecerá una etiqueta gris que dirá No estadísticamente significativo.
Para las campañas, se considera que el resultado de una prueba A/B no es estadísticamente significativo cuando
- La probabilidad es inferior al 75% y al menos 1.800 personas recibieron cada variante.
O - Menos de 1.800 han recibido cada variante, la diferencia porcentual entre la variante líder y la segunda es del 4% o menos, y la probabilidad de victoria es inferior al 60%.
Inconcluso
Si una prueba no es concluyente, significa que no hay suficiente información para determinar si algo es estadísticamente significativo o no. Si los resultados de la prueba no coinciden con ninguno de los criterios de las opciones anteriores, caerá en el cubo de los no concluyentes. Puede visualizar esto utilizando el árbol de decisión que se muestra en la siguiente sección. Tenga en cuenta que las pruebas no concluyentes no mostrarán una etiqueta que indique si la prueba fue estadísticamente significativa o no en la página de resultados.
En este caso, es posible que desee ampliar su audiencia para cualquier prueba de seguimiento. Si tiene un grupo pequeño con el que está haciendo la prueba, interprete los resultados como mejor le parezca y vuelva a hacer la prueba para comprobar que lo que ha descubierto es exacto. Además, céntrese en conocer a sus suscriptores por otros medios; por ejemplo, encuestas, sondeos, etc.
Árbol de decisión de significación estadística
El siguiente árbol de decisiones muestra cuándo una prueba A/B entrará en cada categoría. Las líneas verdes indican que la respuesta es "sí", mientras que las rojas representan "no".
Recursos adicionales
- Cómo revisar los resultados de sus pruebas A/B para campañas
Aprenda qué datos puede encontrar en la página de resultados de las pruebas A/B y qué significa cada uno de estos indicadores. La información de esta guía se aplica tanto a las pruebas A/B con campañas por correo electrónico como a las campañas por SMS.
- Mejores prácticas para las pruebas A/B de referencia
Aprenda las mejores prácticas para utilizar las funciones de pruebas A/B de Klaviyo para ayudarle a optimizar su comunicación con los clientes.
Vea cómo realizar pruebas A/B en sus correos electrónicos:
- Cómo probar A/B un correo electrónico de flujo
Aprenda a utilizar la experiencia de pruebas A/B de Klaviyo para probar correos electrónicos individuales en un flujo, incluyendo cosas como la línea de asunto, los descuentos y el contenido del correo electrónico, etc. Incluso puede utilizar pruebas A/B para determinar si los mensajes de texto sin formato funcionan mejor que los mensajes HTML con muchas imágenes.
- Cómo probar A/B una campaña de correo electrónico
Aprenda a configurar y ejecutar una prueba A/B para una campaña, a leer los resultados de la prueba y algunos casos de uso de las pruebas A/B para campañas. Klaviyo's A/B testing feature for campaña le permite probar fácilmente diferentes asuntos, contenidos de mensajes y horas de envío para que pueda comprender mejor qué funciona mejor para su público.