Como fazer um teste A/B em um e-mail de fluxo
O que você vai aprender
Saiba como usar a experiência de teste A/B do Klaviyo para testar e-mails individuais em um fluxo, incluindo itens como linha de assunto, descontos, conteúdo do e-mail etc. O senhor pode até usar testes A/B para determinar se os e-mails em texto simples têm melhor desempenho do que os e-mails em HTML com muitas imagens.
Sobre fluxos e testes A/B
O teste A/B de fluxo de e-mail inclui os processos de:
- Criar um único e-mail de fluxo e programar esse e-mail para ser enviado após um determinado número de horas ou dias, como o senhor faria normalmente.
- Configurar duas ou mais variações de e-mail para esse único fluxo de e-mail, ajustando a linha de assunto ou o conteúdo principal do e-mail para cada variação.
- Selecionar o peso de cada variação para estabelecer a porcentagem de destinatários que receberão cada e-mail.
- Ter uma variação vencedora escolhida automaticamente depois que a significância estatística é alcançada ou escolher manualmente um vencedor com base na maior taxa de abertura ou na maior taxa de cliques entre as variações.
Realizar um teste A/B de fluxo de e-mail
A criação de um teste A/B pode ser feita facilmente por meio do construtor de fluxo. Observe que, após a conclusão de um teste para um e-mail, o senhor pode criar outro teste para o mesmo e-mail no futuro, se necessário.
Criar um novo teste
- Para configurar o teste A/B para um e-mail individual em qualquer fluxo, clique no e-mail dentro do construtor de fluxo.
- Configure o conteúdo do e-mail, se o senhor ainda não tiver feito isso.
- Clique em Criar teste A/B no painel Detalhes do e-mail.
Quando o senhor cria um teste A/B para um e-mail de fluxo existente, são criadas duas novas cópias do e-mail. Se o e-mail de fluxo estiver ativo e já tiver sido enviado, quando o teste A/B for publicado, as análises de cada uma dessas cópias serão rastreadas separadamente. Não continuamos a rastrear as análises do e-mail original depois que o senhor adiciona uma variação.
Editar variações
Depois de criar um novo teste, o senhor será levado diretamente para a guia A/B Test (Teste A/B ) da janela Manage Content ( Gerenciar conteúdo ). Cada teste incluirá automaticamente duas variações. Ao clicar em uma variação, o senhor pode editar o nome da variação, a linha de assunto, o texto de visualização, o nome do remetente e o endereço de e-mail do remetente.
- Para editar o conteúdo do e-mail, clique no botão Editar e-mail acima da visualização do e-mail à direita.
Adicionar uma nova variação
Caso deseje adicionar outra variante, é necessário clonar uma das duas variantes existentes.
- Clique no ícone de clone à direita da variação na qual o senhor deseja basear sua nova variação.
- Isso criará uma nova variante que poderá ser modificada para se diferenciar das duas variantes originais.
Excluir uma variação
Um teste A/B deve ter pelo menos duas variações, portanto, uma variação só pode ser excluída quando houver três ou mais. Além disso, as variações só podem ser excluídas enquanto um teste estiver no status Rascunho. A exclusão de variações está desativada para testes A/B ao vivo.
- Para excluir uma variação, clique no ícone da lixeira à direita da variação que o senhor deseja excluir.
Escolha o peso de cada variação
Na parte inferior da guia Teste A/B, você verá a seção Configurações de teste, na qual poderá editar o peso de cada variação - isso estabelecerá a porcentagem de destinatários que receberão cada variação.
Em geral, recomenda-se pesar cada variação igualmente, mas o senhor pode alterar as porcentagens para qualquer valor que desejar.
O senhor também pode selecionar a opção de escolher automaticamente a distribuição. Isso fará com que a distribuição seja igual para cada variação no início. Com o tempo, se uma das variações tiver um desempenho melhor do que as outras, a Klaviyo ajustará automaticamente a distribuição para direcionar mais destinatários para a variação com melhor desempenho enquanto o teste ainda estiver em andamento.
Configurar a seleção do vencedor
Por padrão, os testes escolherão automaticamente um vencedor com base na taxa de cliques, mas isso pode ser alterado.
- Na seção Test Settings (Configurações de teste ) na parte inferior da guia A/B Test (Teste A/B ), também é possível configurar a seleção do vencedor clicando no link Configure (Configurar ) em Winner Selection (Seleção do vencedor).
- Um modal aparecerá, no qual você poderá alterar a métrica Vencedor para taxa de abertura.
Para o fluxo E-mail, somente a taxa de abertura e a taxa de cliques estão disponíveis como métrica vencedora.
Recomenda-se o uso da taxa de cliques, pois muitos fatores, como o Apple Mail Privacy Protection (MPP), podem causar taxas de abertura inflacionadas. Para obter informações completas sobre a abertura de MPP, visite nosso guia iOS 15: Como se preparar para as mudanças da Apple.
- Na seção Seleção automática do vencedor, existem duas opções:
- Encerrar o teste se a métrica vencedora for determinada como vencedora com alta certeza estatística (significância estatística): essa opção está marcada por padrão. Desmarque a caixa ao lado dessa opção se o senhor quiser encerrar o teste manualmente ou escolha a opção de encerrar o teste após uma data específica.
- Definir um limite de data: essa opção permite que o senhor selecione uma data específica para encerrar o teste automaticamente.
- Se o senhor selecionar as duas opções, o teste será encerrado se a significância estatística for atingida ou se a data especificada for atingida, dependendo do que ocorrer primeiro.
- Clique no botão Salvar configurações para confirmar sua configuração.
Publicar um teste
- Depois de configurar as variações, o senhor estará pronto para publicar o teste. Na guia A/B Test (Teste A/B ), clique no botão Publish Test (Publicar teste ) no canto superior direito.
- Um modal aparecerá solicitando que você confirme a publicação. Clique no botão Publicar teste para confirmar.
Excluir um teste
- Se quiser excluir um teste, na guia A/B Test (Teste A/B ), clique na seta ao lado do botão Publish Test (Publicar teste ) e selecione Delete (Excluir).
Visualizar resultados de testes A/B
- O senhor pode visualizar os resultados de um teste enquanto ele estiver em execução ou após a conclusão, clicando no e-mail dentro do criador de fluxo e no botão View test (Visualizar teste ).
Isso o levará à página A/B Test Results (Resultados do teste A/B), onde poderá visualizar as seguintes métricas:
- Destinatários
Quantas pessoas receberam o e-mail - Abre
Qual a porcentagem/número de pessoas que abriram o e-mail - Cliques
Qual a porcentagem/número de pessoas que clicaram no e-mail - conversão métrica
Total de destinatários que dispararam a conversão métrica a conversão métrica selecionada para o e-mail, como Pedido Efetuado.
Para obter informações mais detalhadas sobre a página de resultados do teste A/B, consulte nosso artigo sobre como analisar os resultados do teste A/B de e-mail para fluxos.
Escolher manualmente um vencedor
Na maioria dos casos, é melhor esperar que o teste A/B escolha automaticamente um vencedor, mas pode haver uma situação em que você queira encerrar um teste A/B antecipadamente. Nesse caso, siga as etapas abaixo.
- Na página Resultados do teste A/B, o senhor pode escolher manualmente uma variação vencedora para o teste clicando no botão Choose Winner (Escolher vencedor ) no canto superior direito da página.
- Uma janela modal aparecerá solicitando que você selecione um vencedor para cada uma das suas variantes existentes. Selecione a variante que gostaria de ganhar no menu suspenso e clique no botão “Escolher vencedor ”.
A alteração do status de uma mensagem de ativo para rascunho encerrará o teste e escolherá automaticamente um vencedor com base na métrica vencedora - a primeira variação será escolhida se houver empate.
Recursos adicionais
Saiba mais sobre testes A/B em fluxos:
- Como fazer o teste A/B de ramificações de fluxo
Saiba como você pode fazer o teste A/B de ramificações de fluxo usando o componente de divisão condicional para testar itens como tempo, descontos e número de e-mails em um fluxo. Neste artigo, explicaremos a você como configurar e finalizar um teste A/B para uma ramificação de fluxo.
- Práticas recomendadas para referência de testes A/B
Aprenda as práticas recomendadas para usar os recursos de teste A/B do Klaviyo para ajudar a otimizar sua comunicação com os clientes.