Texte & documents
Nombres & calcul
Données & formats
Sécurité
Développement & DevOps
Intelligence artificielle
Finances
Santé et bien-être
Productivité
Jeux et divertissement
Multimédia & design
Entreprise
Guide d'utilisation
Analyser une expérience

Saisis les visiteurs et les conversions de chaque variante (A est le témoin). D'abord, on vérifie la répartition du trafic (SRM) : si elle ne correspond pas à celle demandée, le résultat n'est pas fiable et il faut en chercher la cause. Ensuite tu verras la différence avec son intervalle de confiance, qui indique combien, pas seulement si. Avec peu de données ou un taux à 0 % ou 100 %, on utilise le test exact de Fisher, car l'approximation normale déclare des gagnants qui n'en sont pas.

Ce qu'est (et n'est pas) la valeur p

La valeur p est la probabilité d'observer une différence aussi grande ou plus grande si en réalité elle n'existait pas. Ce n'est pas la probabilité que B soit meilleur : c'est ce que donne la partie bayésienne, P(B > A). Avec plus de deux variantes, on corrige pour les comparaisons multiples (Holm ou Benjamini-Hochberg) : comparer plusieurs variantes à la fois donne plus d'occasions de gagner par hasard.

Test A/BAnalysez, planifiez et ne vous voilez pas la face en regardant avant
Test A/BAnalyse avec des intervalles et un test exact, planifie la taille et vérifie à quel point regarder trop tôt trompe
VisiteursConversionsRépartition % (facultatif)Taux
A contrôle
12,00 %
B
14,00 %
Répartition du trafic cohérente avec celle demandée (SRM : p = 1,0000).
Ces données ne montrent aucune différence
Différence (B − A)+2,00 ppIC 95 % : -0,95 pp … +4,96 pp
Amélioration relative+16,7 %IC 95 % : -7,1 % … +46,5 %
valeur p0,1836z de deux proportions · z = 1,33
P(B meilleur que A)90,8 %bayésien, priors uniformes

La valeur p n'est PAS la probabilité que B soit meilleur : c'est la probabilité de voir une différence pareille si elle n'existait pas. Et elle n'est valable que si tu as décidé la taille avant et que tu ne t'es pas arrêté en voyant un bon résultat (onglet « Regarder trop tôt »).