Compara duas versões (controlo A e variante B) através de um Z-test de duas proporções para saber se a diferença na taxa de conversão é estatisticamente significativa ou apenas fruto do acaso.
Introduz para cada grupo as conversões (sucessos) e os visitantes totais. O resultado é recalculado automaticamente enquanto escreves; as conversões não podem exceder os visitantes.
A melhoria relativa indica quanto B sobe ou desce face a A. O p-value mede a probabilidade de a diferença ser casual: abaixo de 0,05 é 95% significativo e abaixo de 0,01, 99%. Só então se declara um vencedor.
Estima os visitantes por variante necessários para detetar uma melhoria de 5% com 80% de potência. Se a tua amostra for menor, o teste ainda não é conclusivo mesmo que vejas diferenças.