Teste A/B é a ferramenta mais usada e mais mal usada do email marketing. A maior parte dos testes que vemos em contas novas não prova nada — a amostra é pequena demais, duas variáveis mudam ao mesmo tempo, ou o resultado é lido com a conclusão já decidida. Este texto mostra como fazer direito.
Nem tudo merece um teste. Priorize pelo tamanho do efeito possível, não pela facilidade.
| Variável | Impacto potencial | Observação |
|---|---|---|
| Oferta | Muito alto | O que você promete muda tudo. Quase ninguém testa. |
| Segmento | Muito alto | O mesmo email para públicos diferentes rende resultados diferentes. |
| Assunto | Alto | Decide a abertura. O mais testado — e com razão. |
| Remetente | Alto | Nome de pessoa contra nome de marca. Pouco testado, efeito grande. |
| Chamada (CTA) | Médio | Texto e posição do botão. |
| Estrutura do email | Médio | Texto simples contra peça visual. |
| Horário e dia | Baixo a médio | Move poucos pontos. Veja melhor horário de envio. |
| Cor do botão | Muito baixo | O clássico exemplo de teste que consome tempo e não muda receita. |
Comece pelo topo da tabela. Quem passa meses testando cor de botão enquanto a oferta nunca foi questionada está otimizando a casa decimal e ignorando o número inteiro.
Esta é a parte desconfortável. Para detectar diferenças pequenas com confiança, você precisa de muito mais gente do que imagina.
As referências práticas mais usadas no mercado: enviar o teste para uma fatia de 10% a 30% da base, com um mínimo em torno de 100 contatos por variação para ter alguma significância — e, quando o objetivo é medir conversão e não só abertura, algo próximo de 350 a 400 conversões por variação.
Traduzindo para a realidade de quem tem base pequena: com 2.000 contatos e taxa de conversão de 2%, cada variação produziria cerca de 20 conversões. Isso não permite concluir nada sobre uma diferença de 10% entre versões — o resultado cabe inteiro dentro do acaso.
Não é motivo para não testar — é motivo para testar coisas grandes. Duas abordagens completamente diferentes, duas ofertas distintas, dois ângulos opostos. Diferença grande aparece com amostra pequena; diferença de 2% não aparece nunca.
Significância responde uma pergunta só: a diferença que eu vi tem chance razoável de ser real, ou pode ter sido sorte?
A convenção de mercado trabalha com nível de significância de 5% — ou seja, aceita-se até 5% de chance de o resultado ter sido acaso — e poder estatístico de 80%. Você não precisa calcular isso à mão: várias plataformas fazem o cálculo, e existem calculadoras gratuitas de teste A/B que só pedem os números de cada variação.
| Cenário | Versão A | Versão B | Dá para concluir? |
|---|---|---|---|
| 500 envios cada | 22% abertura | 25% abertura | Não — a diferença cabe no acaso |
| 500 envios cada | 18% abertura | 34% abertura | Provavelmente sim — diferença grande |
| 20.000 envios cada | 22% abertura | 25% abertura | Sim — amostra sustenta a diferença |
É contraintuitivo: o mesmo resultado percentual pode ser conclusivo ou não, dependendo só do tamanho da amostra.
É parte da gestão: montamos o teste, esperamos o volume necessário, lemos o resultado e transformamos o que vence em padrão.
Não "vamos testar dois assuntos", e sim "acredito que um assunto com número específico gera mais abertura que um com pergunta, porque a base é técnica e responde a dado concreto". Hipótese escrita evita que você invente a explicação depois de ver o resultado.
Se o assunto e o remetente mudarem juntos, o resultado não diz qual causou a diferença. Uma variável por rodada, sempre.
Não separe por ordem alfabética, data de cadastro ou qualquer critério que possa se correlacionar com comportamento. A ferramenta faz isso, mas confira — divisão enviesada invalida o teste antes de começar.
Mandar a versão A hoje e a B amanhã introduz uma segunda variável: o dia. Salvo quando o dia é o que está sendo testado.
Abertura, clique ou receita? Escolha antes. Decidir depois é o caminho mais curto para encontrar o número que confirma o que você já queria acreditar.
Emails continuam sendo abertos por dias. Encerrar em duas horas porque uma versão "está ganhando" é o erro mais comum — e o ranking muda com frequência ao longo de 48 a 72 horas.
Um resultado isolado pode ter sido influenciado por feriado, notícia do dia ou promoção de concorrente. Só trate como padrão da casa depois de duas ou três confirmações.
O assunto que gera mais abertura nem sempre gera mais venda — um assunto sensacionalista sobe abertura e derruba conversão. Se você consegue atribuir receita, decida por ela. Se não, use clique, que é bem mais confiável que abertura.
Desde que o Apple Mail passou a pré-carregar imagens automaticamente, a abertura registra eventos que não correspondem a leitura. Isso adiciona ruído a qualquer teste baseado só nela. O detalhe está em taxa de abertura de email.
Muitos testes terminam sem diferença significativa. Isso não é fracasso — é informação: aquela variável não importa para a sua base, e você pode parar de gastar tempo com ela e testar outra coisa.
Um documento simples com data, hipótese, variações, números e conclusão. Sem registro, a equipe repete o mesmo teste a cada seis meses e nunca acumula aprendizado.
Teste coisas grandes primeiro. Uma variável por vez. Amostra suficiente ou nada de conclusão. Métrica definida antes. Tempo cheio. E anote — teste que não vira registro é trabalho que se perde.
As médias de mercado por tipo de campanha, por que a métrica ficou menos confiável desde a proteção de privacidade da Apple e o que olhar no lugar dela.
Os limites reais dos planos gratuitos das principais plataformas, o que costuma ficar de fora e a partir de que ponto o grátis passa a sair caro.
As estruturas AIDA e PAS aplicadas ao email, por que a primeira linha importa mais que o resto, e os gatilhos que funcionam sem soar desesperado.
Analisamos sua base, sua entregabilidade e seus fluxos — e mostramos, com números, onde está o dinheiro parado. Sem custo e sem compromisso.
