Texto e documentos

Números e cálculo

Dados e formatos

Segurança

Desenvolvimento e DevOps

Inteligência Artificial

Finanças

Saúde & Bem-estar

Produtividade

Jogos & Entretenimento

Multimédia e design

Empresa

Analisar uma experiência

Escreve os visitantes e as conversões de cada variante (A é o controlo). Primeiro verifica-se a distribuição do tráfego (SRM): se não coincidir com a pedida, o resultado não é fiável e é preciso procurar a causa. Depois vês a diferença com o seu intervalo de confiança, que diz quanto, não só se. Com poucos dados ou uma taxa a 0 % ou 100 % usa-se o teste exato de Fisher, porque a aproximação normal declara vencedores que não o são.

O que é (e o que não é) o p-valor

O p-valor é a probabilidade de ver uma diferença assim ou maior se na realidade não existisse. Não é a probabilidade de B ser melhor: isso dá-o a parte bayesiana, P(B > A). Com mais de duas variantes corrige-se por comparações múltiplas (Holm ou Benjamini-Hochberg): comparar várias variantes ao mesmo tempo dá mais ocasiões de acertar por acaso.

Teste A/B

Analisa com intervalos e teste exato, planeia o tamanho e verifica quanto engana olhar antes de tempo

Analisar

Planear

Olhar antes de tempo

Dados por dia

VisitantesConversõesDistribuição % (opcional)Taxa

A controlo

12,00 %

14,00 %

Distribuição de tráfego coerente com a pedida (SRM: p = 1,0000).

Com estes dados não se demonstra nenhuma diferença

Diferença (B − A)+2,00 ppIC 95 %: -0,95 pp … +4,96 pp

Melhoria relativa+16,7 %IC 95 %: -7,1 % … +46,5 %

p-valor0,1836z de duas proporções · z = 1,33

P(B melhor que A)90,8 %bayesiano, priors uniformes

O p-valor NÃO é a probabilidade de B ser melhor: é a probabilidade de ver uma diferença assim se ela não existisse. E só é válido se decidiste o tamanho antes e não paraste ao ver um bom resultado (separador «Olhar antes de tempo»).