Signifikanz-Rechner

Die Konversionsrate und das Konfidenz-Niveau werden automatisch mit dem Ergebnis berechnet.

Visitors
Konversionen
Konversionsrate
Konfidenzniveau
A - Original:
B - Variante 1:

Anzahl Test-Varianten

Mit den Buttons "Variante hinzufügen" und "Variante entfernen" bestimmen Sie die Anzahl der Test-Varianten.

Anzahl Visitors

Bitte geben Sie in den Feldern der Spalte Visitors jeweils die Anzahl an Besuchern der Original-Seite und der Varianten der Seite an.

Anzahl Konversionen

In den Feldern der Spalte Konversionen geben Sie bitte die jeweils entsprechende Anzahl an Konversionen (nicht die Konversionsrate) an.

Signifikanz und Wissen

Ist das Ergebnis meines A/B-Tests signifikant?

Wenn Sie auf der Webseite Ihres Unternehmens in einem A/B-Test verschiedene Versionen einer Seite gegeneinander testen, erhalten Sie als Ergebnis im besten Fall, dass die Konversionsrate der neuen Variante höher ist als die der Original-Seite. Um die Möglichkeit auszuschließen, dass dieses Ergebnis nur zufällig so entstanden ist, sollten Sie einen Signifikanz-Test durchführen. Dazu geben Sie einfach die gemessenen Werte in die entsprechenden Felder im Rechner ein.

Die Mathematik dahinter

Der converlytics A/B-Test Signifikanz-Rechner basiert auf einem Chi-Quadrat-Test. Der Chi-Quadrat-Test überprüft, ob sich die relative Konversionshäufigkeit der Besucher, die die Variante der Seite angezeigt bekommen, signifikant von der relativen Konversionshäufigkeit der Besucher unterscheidet, die die Originalversion der Seite angezeigt bekommen. Die Testgröße für zwei Versionen der Webseite ist dabei

CHI Formelberechnet sich aus den folgenden Größen:

o: Besuche der Original-Seite
v: Besuche der Variante
co: Konversionen der Original-Seite
cv: Konversionen der Variante
n: Gesamtzahl Besuche
nf: Gesamtanzahl Besuche ohne Konversion
nc: Gesamtanzahl Besuche mit Konversion

Dabei gilt:

n = o + v
nf = n - ( co + cv )
nc = co + cv

Die Freiheitsgrade ergeben sich aus der Anzahl der Testfälle. Hier ist k=2, da es die beiden Möglichkeiten Konversion und keine Konversion gibt und m=2, da es zwei Versionen der Webseite gibt. Bei mehreren Varianten ändert sich die Anzahl der Freiheitsgrade. a ist das dem Konfidenz-Niveau entsprechende Signifikanz-Niveau und berechnet sich aus Konfidenz-Niveau=1-alpha. Die kritischen Werte der Chi²-Verteilung sind zum Beispiel

zum Konfidenz-Niveau 95%
( alpha = 0.05 ) : Chi²1-alpha (( k-1 ) * ( m - 1 )) = Chi² 0.95 (1) = 3.84

zum Konfidenz-Niveau 99%
( alpha = 0.01 ) : Chi²1-alpha (( k-1 ) * ( m - 1 )) = Chi² 0.99 (1) = 6.63

Ist oben berechnetes Chi² größer als der kritische Wert zum Konfidenz-Niveau 95%, so kann davon ausgegangen werden, dass der Unterschied in der Konversionsrate zwischen den beiden Varianten der Webseite nicht zufällig entstanden ist. Wollen Sie mehr darüber erfahren? Dann treten Sie in Kontakt mit uns.