Teste de mensagens na Black Friday sem falsa vitória

Pontos-chave

Métrica de sucesso é venda confirmada por contato elegível; taxa de resposta é indicador intermediário e pode subir enquanto a venda cai.
Grupo de controle é a versão atual, enviada ao mesmo tempo e ao mesmo tipo de lead; sem ele, qualquer melhora pode ser a sazonalidade da Black Friday.
Com 4% de venda por contato, detectar 2 pontos de diferença exige cerca de 1.900 contatos por versão; com menos, o teste é inconclusivo, não vencedor.
Mude uma variável por vez; preço, horário de envio e oferta não mudam entre grupos.
Defina o critério de parada antes de começar; olhar o resultado todo dia e parar no primeiro bom é a forma mais comum de falsa vitória.

O que é um teste de mensagem válido?

Teste válido é uma comparação entre duas ou mais versões de mensagem enviadas, ao mesmo tempo, a grupos de leads sorteados ao acaso, com uma hipótese escrita, uma métrica de decisão definida antes e um tamanho de amostra calculado antes. Qualquer teste sem um desses cinco itens produz uma opinião com números, não uma evidência.

Hipótese escrita significa: "A abertura com pergunta sobre o produto desejado (B) gera mais vendas confirmadas por contato do que a abertura atual com saudação e lista de ofertas (A)". A hipótese nomeia a variável, a direção esperada e a métrica.

Na Black Friday o teste tem um inimigo a mais: o tempo. A Confi Neotrust (2025) registrou crescimento de receita em dois dígitos nas primeiras 48 horas do evento; uma versão enviada na quinta e outra na sexta à noite não são comparáveis, porque o público e a urgência mudaram. Por isso os grupos precisam receber as versões no mesmo intervalo, sorteados a cada novo lead.

Por que taxa de resposta não é métrica de sucesso

Resposta mede curiosidade; venda mede decisão. Uma abertura provocativa ("Você ainda está pagando caro por X?") costuma gerar mais respostas e mais discussões, e menos compras. Uma abertura direta com a oferta gera menos respostas, mas quem responde está mais perto de pagar.

Use três níveis de métrica e decida pelo terceiro:

Nível	Métrica	Fórmula	Para que serve
Intermediária	Taxa de resposta útil	Respostas que avançam a conversa ÷ contatos entregues	Diagnosticar por que uma versão perdeu
Intermediária	Taxa de avanço	Leads que chegaram ao preço ou pediram link ÷ contatos entregues	Ver onde a versão trava
Decisão	Taxa de venda	Vendas confirmadas ÷ contatos elegíveis expostos	Escolher a vencedora
Proteção	Taxa de recusa	Bloqueios, "pare" e denúncias ÷ contatos entregues	Reprovar versões que vendem queimando a base

"Contato elegível exposto" é quem recebeu a mensagem e tinha opt-in válido; mensagens não entregues ficam fora do denominador, mas são contadas à parte, porque uma versão com entrega muito menor tem um problema de conteúdo ou de template. A métrica de proteção reprova uma versão mesmo que ela venda mais: ganhar 2 pontos de venda e perder 3 pontos da base em bloqueios é prejuízo na semana seguinte.

Como montar o grupo de controle e a amostra mínima

O grupo de controle recebe a versão atual (A) no mesmo período e nas mesmas condições das versões novas. O sorteio é por lead, no momento em que ele entra na lista ou abre a conversa, nunca por dia da semana, por atendente ou por campanha, porque cada um desses critérios carrega uma diferença própria.

A amostra mínima depende da taxa de venda atual e da diferença que você quer detectar. Regra prática, aproximada, para testes com duas versões e taxa de venda entre 3% e 10%: para detectar uma diferença de 2 pontos percentuais com confiança razoável, cada versão precisa de algo entre 1.500 e 2.500 contatos. Se a base da Black Friday tem 600 pessoas, o teste só detecta diferenças grandes, da ordem de 5 pontos ou mais; teste então uma mudança grande (oferta inteira) e não um detalhe (emoji na saudação).

Regras de decisão:

Se a diferença observada é menor do que o dobro da variação esperada pelo acaso (cálculo no exemplo abaixo), o resultado é "inconclusivo"; mantenha a versão atual.
Se a versão nova vende mais mas tem taxa de recusa acima de 1%, reprove.
Se o teste atinge a amostra antes do prazo, encerre; se não atinge, encerre inconclusivo no prazo. Não estenda para "dar tempo de ganhar".

Passo a passo do teste

Escreva a hipótese com variável, direção e métrica de decisão (venda confirmada por contato elegível).
Defina a amostra mínima por versão e o prazo máximo (na Black Week, 48 a 72 horas).
Registre as versões com código (A, B), texto completo e data; sem registro, ninguém explica depois o que mudou.
Sorteie cada lead para uma versão no momento da entrada. Use o mesmo horário de envio e o mesmo template aprovado quando a mensagem for proativa.
Mantenha tudo o mais igual: preço, condições, link, atendente que assume depois, cadência de follow-up.
Só decida ao atingir a amostra: calcule a taxa de venda e a variação esperada, aplique a regra escrita e documente o resultado, inclusive quando inconclusivo.
Confirme as vendas no CRM com valor registrado por lead; um CRM com atribuição e funil, como o RASTRO, permite ligar cada venda ao lead e à versão recebida.

Exemplo hipotético: 300 contatos por versão não decidem nada

Exemplo hipotético, com números inventados para mostrar o cálculo. Uma loja testa duas aberturas de retomada para leads com opt-in que pararam de responder.

Resultado bruto: A recebeu 300 contatos e gerou 12 vendas (4,0%); B recebeu 300 e gerou 18 vendas (6,0%). Diferença: 2 pontos percentuais, 50% a mais em termos relativos.
Taxa combinada: (12 + 18) ÷ 600 = 5,0%.
Variação esperada pelo acaso (erro padrão aproximado da diferença): raiz de [0,05 × 0,95 × (1 ÷ 300 + 1 ÷ 300)] = raiz de 0,000317 ≈ 0,0178, ou 1,8 ponto percentual.
Comparação: a diferença (2,0 pontos) é cerca de 1,1 vez a variação esperada. Pela regra "só decide acima de 2 vezes", o resultado é inconclusivo.
Amostra necessária: para que 2 pontos fossem o dobro da variação esperada, cada versão precisaria de cerca de 1.900 contatos.

A conclusão correta é "B parece promissora; repetir com amostra maior", não "B venceu, troque tudo". Com 300 contatos, 6 vendas a mais podem ser acaso, um atendente mais rápido naquele dia ou dois clientes que comprariam de qualquer jeito. Como estruturar a retomada que está sendo testada está em follow-up sem pressionar o cliente.

O que não pode mudar entre as versões

Preço, condições, oferta, horário de envio, opt-in e quem assume a conversa depois. Mudar qualquer um desses itens junto com o texto transforma o teste em comparação de duas campanhas diferentes.

Dois limites são regulatórios, não metodológicos. Pela política de mensagens do WhatsApp Business, mensagem proativa exige opt-in: as duas versões vão só para quem autorizou, e "vamos testar numa base fria" não é teste, é violação. E pelo art. 37 do CDC (Lei 8.078/1990), publicidade enganosa é proibida: uma versão com "últimas unidades" sem estoque limitado real ou "de R$ 500 por R$ 300" sem que R$ 500 tenha sido praticado reprova antes de começar; o Procon-SP (2025) recomenda usar como referência o menor preço dos últimos 60 dias. Teste jeito de dizer, não verdade da oferta.

Lembre do custo: pela documentação de preços da Meta (2025), mensagens de modelo entregues fora da janela de atendimento de 24 horas são cobradas; inclua o envio no custo por venda de cada versão. O mesmo raciocínio de "venda, não clique" vale para criativos, em criativos: avalie vendas, não só cliques.

Erros comuns que fabricam uma vitória

Parar no primeiro dia bom. Com poucos eventos, a liderança troca de lado várias vezes; quem para quando a sua versão favorita está na frente sempre "ganha".
Mudar duas coisas. Texto novo e horário novo: se vendeu mais, foi o quê?
Excluir os que não responderam. Medir venda sobre respondentes infla a versão que gerou menos respostas. O denominador é contato elegível exposto.
Deixar a ferramenta otimizar sozinha a cada resposta. Sistemas que trocam a versão "vencedora" em tempo real com base em resposta escolhem a mais curiosa, não a que mais vende.
Não registrar a versão enviada por lead. Sem isso o relatório final não consegue dizer o que cada cliente recebeu, e o teste não entra no relatório que ajuda o cliente a decidir.

Perguntas frequentes

Fontes

Mais respostas significa que a mensagem é melhor?

Não. Resposta mede curiosidade; a decisão é por venda confirmada por contato elegível. Uma abertura provocativa pode dobrar as respostas e reduzir as compras. Use a taxa de resposta para diagnosticar por que uma versão perdeu, nunca para escolher a vencedora.

Quantos contatos preciso para um teste A/B no WhatsApp?

Depende da taxa de venda atual e da diferença que quer detectar. Com venda em torno de 4% a 5% e diferença de 2 pontos, algo entre 1.500 e 2.500 contatos por versão. Com base menor, teste só mudanças grandes e aceite "inconclusivo" como resultado possível.

Posso testar mensagens com quem não deu opt-in?

Não. A política de mensagens do WhatsApp Business exige consentimento para contato proativo, e enviar a uma base sem opt-in gera bloqueios e denúncias que prejudicam o número da empresa. Teste apenas com contatos que autorizaram, ou dentro da janela de 24 horas aberta pelo próprio cliente.

E se o teste terminar inconclusivo?

Mantenha a versão atual e registre o resultado com a amostra usada. Inconclusivo é informação: mostra que a diferença, se existe, é menor do que a base permite detectar. Repita depois da Black Friday com amostra maior ou teste uma mudança mais radical.