Prueba de mensajes en Black Friday sin falsa victoria

Puntos clave

La métrica de éxito es venta confirmada por contacto elegible; la tasa de respuesta es un indicador intermedio y puede subir mientras la venta cae.
El grupo de control es la versión actual, enviada al mismo tiempo y al mismo tipo de lead; sin él, cualquier mejora puede ser la estacionalidad de Black Friday.
Con un 4% de venta por contacto, detectar 2 puntos de diferencia exige cerca de 1.900 contactos por versión; con menos, la prueba es inconclusa, no ganadora.
Cambie una variable a la vez; precio, horario de envío y oferta no cambian entre grupos.
Defina el criterio de parada antes de empezar; mirar el resultado todos los días y parar en el primero bueno es la forma más común de falsa victoria.

¿Qué es una prueba de mensaje válida?

Una prueba válida es una comparación entre dos o más versiones de mensaje enviadas, al mismo tiempo, a grupos de leads sorteados al azar, con una hipótesis escrita, una métrica de decisión definida antes y un tamaño de muestra calculado antes. Cualquier prueba sin uno de esos cinco elementos produce una opinión con números, no una evidencia.

Hipótesis escrita significa: "La apertura con pregunta sobre el producto deseado (B) genera más ventas confirmadas por contacto que la apertura actual con saludo y lista de ofertas (A)". La hipótesis nombra la variable, la dirección esperada y la métrica.

En Black Friday la prueba tiene un enemigo más: el tiempo. Confi Neotrust (2025) registró un crecimiento de ingresos de dos dígitos en las primeras 48 horas del evento; una versión enviada el jueves y otra el viernes por la noche no son comparables, porque el público y la urgencia cambiaron. Por eso los grupos tienen que recibir las versiones en el mismo intervalo, sorteados con cada nuevo lead.

Por qué la tasa de respuesta no es métrica de éxito

La respuesta mide curiosidad; la venta mide decisión. Una apertura provocadora ("¿Todavía está pagando caro por X?") suele generar más respuestas y más discusiones, y menos compras. Una apertura directa con la oferta genera menos respuestas, pero quien responde está más cerca de pagar.

Use tres niveles de métrica y decida por el tercero:

Nivel	Métrica	Fórmula	Para qué sirve
Intermedia	Tasa de respuesta útil	Respuestas que avanzan la conversación ÷ contactos entregados	Diagnosticar por qué una versión perdió
Intermedia	Tasa de avance	Leads que llegaron al precio o pidieron el enlace ÷ contactos entregados	Ver dónde se traba la versión
Decisión	Tasa de venta	Ventas confirmadas ÷ contactos elegibles expuestos	Elegir la ganadora
Protección	Tasa de rechazo	Bloqueos, "pare" y denuncias ÷ contactos entregados	Reprobar versiones que venden quemando la base

"Contacto elegible expuesto" es quien recibió el mensaje y tenía opt-in válido; los mensajes no entregados quedan fuera del denominador, pero se cuentan aparte, porque una versión con entrega mucho menor tiene un problema de contenido o de plantilla. La métrica de protección reprueba una versión aunque venda más: ganar 2 puntos de venta y perder 3 puntos de la base en bloqueos es pérdida la semana siguiente.

Cómo armar el grupo de control y la muestra mínima

El grupo de control recibe la versión actual (A) en el mismo período y en las mismas condiciones que las versiones nuevas. El sorteo es por lead, en el momento en que entra en la lista o abre la conversación, nunca por día de la semana, por agente o por campaña, porque cada uno de esos criterios carga una diferencia propia.

La muestra mínima depende de la tasa de venta actual y de la diferencia que quiere detectar. Regla práctica, aproximada, para pruebas con dos versiones y tasa de venta entre el 3% y el 10%: para detectar una diferencia de 2 puntos porcentuales con confianza razonable, cada versión necesita entre 1.500 y 2.500 contactos. Si la base de Black Friday tiene 600 personas, la prueba solo detecta diferencias grandes, del orden de 5 puntos o más; pruebe entonces un cambio grande (la oferta entera) y no un detalle (un emoji en el saludo).

Reglas de decisión:

Si la diferencia observada es menor que el doble de la variación esperada por azar (cálculo en el ejemplo de abajo), el resultado es "inconcluso"; mantenga la versión actual.
Si la versión nueva vende más pero tiene tasa de rechazo por encima del 1%, repruébela.
Si la prueba alcanza la muestra antes del plazo, ciérrela; si no la alcanza, ciérrela como inconclusa en el plazo. No la extienda para "darle tiempo de ganar".

Paso a paso de la prueba

Escriba la hipótesis con variable, dirección y métrica de decisión (venta confirmada por contacto elegible).
Defina la muestra mínima por versión y el plazo máximo (en la Black Week, de 48 a 72 horas).
Registre las versiones con código (A, B), texto completo y fecha; sin registro, nadie explica después qué cambió.
Sortee cada lead a una versión en el momento de entrada. Use el mismo horario de envío y la misma plantilla aprobada cuando el mensaje sea proactivo.
Mantenga todo lo demás igual: precio, condiciones, enlace, agente que toma la conversación después, cadencia de seguimiento.
Solo decida al alcanzar la muestra: calcule la tasa de venta y la variación esperada, aplique la regla escrita y documente el resultado, incluso cuando sea inconcluso.
Confirme las ventas en el CRM con el valor registrado por lead; un CRM con atribución y embudo, como RASTRO, permite ligar cada venta al lead y a la versión recibida.

Ejemplo hipotético: 300 contactos por versión no deciden nada

Ejemplo hipotético, con números inventados para mostrar el cálculo. Una tienda prueba dos aperturas de retoma para leads con opt-in que dejaron de responder.

Resultado bruto: A recibió 300 contactos y generó 12 ventas (4,0%); B recibió 300 y generó 18 ventas (6,0%). Diferencia: 2 puntos porcentuales, 50% más en términos relativos.
Tasa combinada: (12 + 18) ÷ 600 = 5,0%.
Variación esperada por azar (error estándar aproximado de la diferencia): raíz de [0,05 × 0,95 × (1 ÷ 300 + 1 ÷ 300)] = raíz de 0,000317 ≈ 0,0178, o 1,8 puntos porcentuales.
Comparación: la diferencia (2,0 puntos) es cerca de 1,1 veces la variación esperada. Por la regla "solo se decide por encima de 2 veces", el resultado es inconcluso.
Muestra necesaria: para que 2 puntos fueran el doble de la variación esperada, cada versión necesitaría cerca de 1.900 contactos.

La conclusión correcta es "B parece prometedora; repetir con una muestra mayor", no "B ganó, cambie todo". Con 300 contactos, 6 ventas más pueden ser azar, un agente más rápido ese día o dos clientes que comprarían de todos modos. Cómo estructurar la retoma que se está probando está en seguimiento sin presionar al cliente.

Qué no puede cambiar entre las versiones

Precio, condiciones, oferta, horario de envío, opt-in y quién toma la conversación después. Cambiar cualquiera de esos elementos junto con el texto transforma la prueba en una comparación de dos campañas distintas.

Dos límites son regulatorios, no metodológicos. Según la política de mensajes de WhatsApp Business, el mensaje proactivo exige opt-in: las dos versiones van solo a quien autorizó, y "vamos a probar en una base fría" no es prueba, es violación. Y según el art. 37 del CDC brasileño (Ley 8.078/1990), la publicidad engañosa está prohibida: una versión con "últimas unidades" sin inventario limitado real o "de R$ 500 a R$ 300" sin que R$ 500 se haya practicado reprueba antes de empezar; el Procon-SP (defensa del consumidor, São Paulo, 2025) recomienda usar como referencia el menor precio de los últimos 60 días. Pruebe la forma de decirlo, no la verdad de la oferta.

Recuerde el costo: según la documentación de precios de Meta (2025), los mensajes de plantilla entregados fuera de la ventana de atención de 24 horas se cobran; incluya el envío en el costo por venta de cada versión. El mismo razonamiento de "venta, no clic" vale para los creativos, en creativos: evalúe ventas, no solo clics.

Errores comunes que fabrican una victoria

Parar en el primer día bueno. Con pocos eventos, el liderazgo cambia de lado varias veces; quien para cuando su versión favorita va adelante siempre "gana".
Cambiar dos cosas. Texto nuevo y horario nuevo: si vendió más, ¿fue por cuál?
Excluir a los que no respondieron. Medir venta sobre quienes respondieron infla la versión que generó menos respuestas. El denominador es contacto elegible expuesto.
Dejar que la herramienta optimice sola con cada respuesta. Los sistemas que cambian la versión "ganadora" en tiempo real con base en respuestas eligen la más curiosa, no la que más vende.
No registrar la versión enviada por lead. Sin eso el informe final no puede decir qué recibió cada cliente, y la prueba no entra en el informe que ayuda al cliente a decidir.

Preguntas frecuentes

Fuentes

¿Más respuestas significa que el mensaje es mejor?

No. La respuesta mide curiosidad; la decisión es por venta confirmada por contacto elegible. Una apertura provocadora puede duplicar las respuestas y reducir las compras. Use la tasa de respuesta para diagnosticar por qué una versión perdió, nunca para elegir la ganadora.

¿Cuántos contactos necesito para una prueba A/B en WhatsApp?

Depende de la tasa de venta actual y de la diferencia que quiere detectar. Con una venta de alrededor del 4% al 5% y una diferencia de 2 puntos, entre 1.500 y 2.500 contactos por versión. Con una base menor, pruebe solo cambios grandes y acepte "inconcluso" como resultado posible.

¿Puedo probar mensajes con quien no dio opt-in?

No. La política de mensajes de WhatsApp Business exige consentimiento para el contacto proactivo, y enviar a una base sin opt-in genera bloqueos y denuncias que perjudican el número de la empresa. Pruebe solo con contactos que autorizaron, o dentro de la ventana de 24 horas abierta por el propio cliente.

¿Y si la prueba termina inconclusa?

Mantenga la versión actual y registre el resultado con la muestra usada. Inconcluso es información: muestra que la diferencia, si existe, es menor de lo que la base permite detectar. Repita después de Black Friday con una muestra mayor o pruebe un cambio más radical.