Vergleicht zwei Versionen (Kontrolle A und Variante B) mittels eines Z-Tests für zwei Anteile, um festzustellen, ob der Unterschied in der Konversionsrate statistisch signifikant ist oder nur dem Zufall geschuldet.
Gib für jede Gruppe die Konversionen (Erfolge) und die gesamten Besucher ein. Das Ergebnis wird automatisch neu berechnet, während du tippst; die Konversionen können die Besucher nicht übersteigen.
Die relative Verbesserung zeigt, wie stark B im Vergleich zu A steigt oder fällt. Der p-Wert misst die Wahrscheinlichkeit, dass der Unterschied zufällig ist: unter 0,05 ist er zu 95% signifikant und unter 0,01 zu 99%. Erst dann wird ein Gewinner erklärt.
Schätzt die Besucher pro Variante, die nötig sind, um eine Verbesserung von 5% mit 80% Teststärke zu erkennen. Wenn deine Stichprobe kleiner ist, ist der Test noch nicht aussagekräftig, selbst wenn du Unterschiede siehst.