Texto y documentos

Números y cálculo

Datos y formatos

Seguridad

Desarrollo y DevOps

Inteligencia Artificial

Finanzas

Salud y bienestar

Productividad

Juegos y entretenimiento

Multimedia y diseño

Empresa

Analizar un experimento

Escribe visitantes y conversiones de cada variante (A es el control). Antes de nada se comprueba el reparto de tráfico (SRM): si no casa con el pedido, el resultado no es fiable y hay que buscar la causa. Después verás la diferencia con su intervalo de confianza, que dice cuánto, no solo si. Con pocos datos o una tasa en 0 % o 100 % se usa el test exacto de Fisher, porque la aproximación normal declara ganadores que no lo son.

Qué es (y qué no es) el p-valor

El p-valor es la probabilidad de ver una diferencia así o mayor si en realidad no la hubiera. No es la probabilidad de que B sea mejor: eso lo da la parte bayesiana, P(B > A). Con más de dos variantes se corrige por comparaciones múltiples (Holm o Benjamini-Hochberg): comparar varias variantes a la vez da más ocasiones de acertar por azar.

Test A/B

Analiza con intervalos y test exacto, planifica el tamaño y comprueba cuánto engaña mirar antes de tiempo

Analizar

Planificar

Mirar antes de tiempo

Datos por día

VisitantesConversionesReparto % (opcional)Tasa

A control

12,00 %

14,00 %

Reparto de tráfico coherente con el pedido (SRM: p = 1,0000).

Con estos datos no se demuestra ninguna diferencia

Diferencia (B − A)+2,00 ppIC 95 %: -0,95 pp … +4,96 pp

Mejora relativa+16,7 %IC 95 %: -7,1 % … +46,5 %

p-valor0,1836z de dos proporciones · z = 1,33

P(B mejor que A)90,8 %bayesiano, priors uniformes

El p-valor NO es la probabilidad de que B sea mejor: es la probabilidad de ver una diferencia así si no la hubiera. Y solo vale si decidiste el tamaño antes y no paraste al ver un buen resultado (pestaña «Mirar antes de tiempo»).