En Mercatitlán hemos hablado hasta cansarnos de los A/B tests, ya que son una de las herramientas más poderosas para optimizar tu rendimiento en digital.

Si no sabes que es un A/B test o quieres tener una idea más clara te recomiendo leer primero alguno de estos dos posts:

¿Por qué Google Usa Pruebas AB Y Tú También Deberías?

17 Experimentos Comprobados Para Aumentar Las Ventas En Tu Sitio

Ahora si, ya que eres un experto en hacer pruebas A/B te platico que una de las principales preguntas que me hacen a través de las redes es...

¿ Cuánto Dura Un A/B Test ?

Tienes un anuncio que dice "20% de descuento" y quieres probar si uno nuevo que dice "Envío gratis" va a tener mejor rendimiento, así que...

Creas el anuncio nuevo.

Lo publicas.

Y esperas.

Pero...¿Cuánto tiempo tienes que esperar para tomar la decisión sobre si el nuevo anuncio tiene mejor rendimiento?

¿Un día?

¿Una semana?

¿Un mes?

¿Hasta que haya un claro vencedor?

La respuesta es: ninguna de las anteriores.

Lo primero que tienes que saber es que...

La duración de un experimento no depende del tiempo.

Depende de el tamaño de la muestra.

En este post hablaremos sobre estadística.

Pero tranqui...lo vamos a hacer muuuuy fácil.

Cuando haces un experimento de cualquier tipo, no sólo digital, necesitas tener estos 3 factores:

1 . La métrica con la que vas a experimentar

En el caso de los A/B tests siempre va a ser un porcentaje, puede ser el porcentaje de clics, el porcentaje de conversiones, el porcentaje de apertura o algún otro.

Esta es la métrica con la que vas a evaluar a si al anuncio A le fue mejor que al B.

2 . El cambio mínimo que quieres detectar

No es lo mismo correr un experimento en el cual quieres detectar un cambio tan chico como un 1% contra un experimento en dónde quieres detectar al menos un 50%.

Entre más chico el cambio, más grande tendrá que ser el tamaño de tu muestra.

3 . El nivel de significancia estadística que quieres

La significancia estadística te va a asegurar que la decisión que estás tomando con base en tu muestra es representativa de todo tu universo.

Ahí va de nuevo...

Si tu quisieras saber si a toda la Ciudad De México (universo) le gusta el helado de vainilla más que el de chocolate y tomas a 10 personas (muestra), les haces esa pregunta y el resultado es 9/10.

¿Eso quiere decir que al 90% de la Ciudad De México le gusta el helado de vainilla?

Por supuesto que no.

Ese experimento tendría una significancia estadística muy muy baja, por lo cuál los resultados no podrían representar lo que en realidad sucede.

La significancia estadística que se usa casi siempre es del 95%...a prueba de errores.

Teniendo estos 3 valores puedes obtener el tamaño de tu muestra con una complicada fórmula.

Pero como en Mercatitlán descomplicamos lo complicado, te voy a pasar una herramienta web que lo hace por ti, tu sólo entras a este link llenas los 3 campos y listo!

Esto quiere decir que si yo tengo un anuncio con un CTR del 5% y quiero crear un anuncio nuevo para ver si tiene al menos un cambio del 20% en rendimiento con una significancia estadística del 95% tengo que mostrar mi segundo anuncio a 6,900 personas para determinar si ganó o perdió el experimento.

Lo importante a destacar es que los tacos al pastor siempre deben llevar piña el tiempo no es un factor en una prueba A/B, tu podrías mostrar tu nuevo anuncio a 6,900 personas en una día, una hora o 4 meses, lo importante es que se cumpla el tamaño de tu muestra.

La estadística no es tan difícil cómo pensabas...ahora úsala a tu favor para hacer pruebas que de verdad funcionen y mejoren tu rendimiento día con día, no olvides #OptimizarOMorir

‍