Como analisar os resultados de seus testes A/B para campanhas
O que você vai aprender
Saiba quais dados o senhor pode encontrar na página de resultados do teste A/B e o que cada um desses indicadores significa. As informações contidas neste guia se aplicam a testes A/B com campanhas de e-mail e campanhas de SMS.
As campanhas de teste A/B podem fornecer informações valiosas sobre seu público-alvo, simplificando a determinação das alterações a serem feitas em sua estratégia de envio. O senhor saberá não apenas a variação vencedora de um teste A/B, mas também outros fatores importantes, como a porcentagem de confiança da vitória e os detalhes da métrica vencedora.
Resultados do teste A/B
Para ver os resultados de um teste A/B:
- Navegue até a campanha que está testando.
- Selecione a guia Resultados do teste A/B do relatório principal da campanha.
Visão geral do teste
Na seção Resultados do teste, o senhor verá um instantâneo com o seguinte:
- Variação vencedora
Após a conclusão de um teste, a variação vencedora. - Status
Se o teste A/B está em andamento (ou seja, coletando análises) ou concluído. - Probabilidade de vitória
Qual é a probabilidade de que a variação vencedora realmente tenha tido a maior taxa de abertura, clique ou pedido feito após levar em conta o acaso, e se essa probabilidade é considerada estatisticamente significativa. - Elevação
Quanto melhor foi o desempenho da variação vencedora em relação à outra variação. Calculado com base na métrica vencedora (ou seja, taxa de abertura, taxa de cliques ou taxa de pedidos feitos). Para testes com mais de 3 variações, o segundo teste com melhor desempenho é usado para comparação. - Métrica vencedora
Os resultados da variação vencedora para a métrica que foi usada no teste. Por exemplo, se a taxa de abertura fosse escolhida como a métrica vencedora, a porcentagem da taxa de abertura seria mostrada.
Abaixo desses resultados, o senhor pode analisar as taxas de abertura, cliques e pedidos feitos para cada variação do teste.
Como a elevação é calculada
A porcentagem de elevação é diferente da porcentagem mostrada para sua variação vencedora. Isso ocorre porque a porcentagem mostrada ao lado de cada variação é a porcentagem de pessoas que interagiram com o e-mail (abertura, clique, pedido feito), enquanto a elevação é a porcentagem de melhoria que o vencedor teve em relação à outra variação.
Por exemplo, se o senhor estiver usando a taxa de cliques como sua métrica vencedora e a variação A tiver 5/100 (5%) de cliques dos destinatários e a variação B tiver 4/100 (4%) de cliques dos destinatários, a diferença entre as variações será de 1 clique. Isso significa que a elevação foi de 1/5 (20%). Em outras palavras, o aumento foi de 20% com a variação A tendo uma taxa de cliques de 5% e a variação B com uma taxa de cliques de 4%.
Resultados de variação personalizados
A opção de escolher uma estratégia de teste só está disponível para contas com mais de 400.000 perfis totais. Se sua conta não se qualificar, a Klaviyo usará a estratégia de teste da variação vencedora.
Se o senhor escolher a opção de personalizar variações para cada destinatário, verá métricas ligeiramente diferentes na página de resultados do teste, incluindo as seguintes:
- Aumento total do teste A/B
Quanto melhor foi o desempenho da melhor variação em relação à segunda melhor variação. Calculado com base na métrica vencedora (ou seja, taxa de abertura ou taxa de cliques). - Elevação da personalização
Porcentagem de quanto mais bem-sucedido foi o teste personalizado em relação a um teste A/B padrão. - Taxa de cliques da personalização
A taxa média de cliques entre todas as variações de perfis que receberam sua variação preferida. - Características do perfil derivadas pela IA do Klaviyo
Uma lista dos dados usados pela IA para determinar um padrão entre os perfis que preferiram uma variação específica, ou seja, quais fatores provavelmente fizeram com que alguém preferisse uma variação em vez da outra. Clique em cada variação para ver os dados usados, pois eles serão diferentes de acordo com a variação.
Compreensão do ganho de confiança e da significância estatística
Digamos, por exemplo, que o senhor queira verificar se a inclusão de emojis na linha de assunto afeta a taxa de abertura da sua lista de e-mails. Se o senhor enviar o teste para apenas dois assinantes e os emojis tiverem uma taxa de abertura melhor, não é possível afirmar de forma conclusiva que o restante da sua lista de e-mails terá a mesma opinião. Se, em vez disso, o senhor fizesse um teste com 100 pessoas da sua lista de e-mails e descobrisse que os emojis têm uma taxa de abertura substancialmente mais alta, o senhor se sentiria muito mais confiante de que usar emojis em suas linhas de assunto é melhor para o seu público.
Em Win probability, o senhor verá se a variação mostrada é ou não estatisticamente significativa. Se for considerada significativa, isso significa que a variação tem uma alta probabilidade de ganho (ou seja, 90% ou mais). Um teste também pode ser promissor, inconclusivo ou não estatisticamente significativo. Saiba mais sobre a significância estatística no Klaviyo.
Recursos adicionais
- Práticas recomendadas para referência de testes A/B
Aprenda as práticas recomendadas para usar os recursos de teste A/B do Klaviyo para ajudar a otimizar sua comunicação com os clientes.
- Como fazer um teste A/B em um formulário de inscrição
Saiba como usar o teste A/B para avaliar o desempenho de vários elementos do seu formulário de registro. Ao analisar os resultados de forma eficaz, o senhor pode garantir que seus formulários tenham repercussão entre os visitantes do site e contribuam para o crescimento da lista.
- Como fazer um teste A/B em um e-mail de fluxo
Saiba como usar a experiência de teste A/B do Klaviyo para testar e-mails individuais em um fluxo, incluindo itens como linha de assunto, descontos, conteúdo do e-mail etc. O senhor pode até usar testes A/B para determinar se os e-mails em texto simples têm melhor desempenho do que os e-mails em HTML com muitas imagens.
- Como fazer um teste A/B em uma campanha de e-mail
Saiba como configurar e executar um teste A/B para uma Campanha, como ler os resultados do teste e alguns casos de uso para o teste A/B da Campanha. KlaviyoO recurso de teste A/B da Campanha permite que o usuário teste facilmente diferentes linhas de assunto, conteúdo da mensagem e tempo de envio para que possa entender melhor o que funciona melhor para o seu público.