Signifikanz-Rechner

Der Signifikanz-Rechner berechnet die Konversionsrate und das Konfidenz-Niveau automatisch mit dem Ergebnis. So können Sie zum Beispiel schnell bestimmen, ob das Ergebnis eines A/B-Tests signifikant ist.

Signifikanz-Rechner
A – Original:
Visitors
Konversionen
Konversionsrate
Konfidenzniveau
B – Variante 1:
Visitors
Konversionen
Konversionsrate
Konfidenzniveau

Informationen zur Verwendung

Im Folgenden finden Sie einige Hinweise zur Verwendung des Signifikanz-Rechners.

Anzahl Test-Varianten

Mit den Buttons „Variante hinzufügen“ und „Variante entfernen“ bestimmen Sie die Anzahl der Test-Varianten.

Anzahl Visitors

Bitte geben Sie in den Feldern der Spalte Visitors jeweils die Anzahl an Besuchern der Original-Seite und der Varianten der Seite an.

Anzahl Konversionen

In den Feldern der Spalte Konversionen geben Sie bitte die jeweils entsprechende Anzahl an Konversionen (nicht die Konversionsrate) an.

Ist das Ergebnis meines A/B-Tests signifikant?

Wenn Sie auf der Webseite Ihres Unternehmens in einem A/B-Test verschiedene Versionen einer Seite gegeneinander testen, erhalten Sie als Ergebnis im besten Fall, dass die Konversionsrate der neuen Variante höher ist als die der Original-Seite. Um die Möglichkeit auszuschließen, dass dieses Ergebnis nur zufällig so entstanden ist, sollten Sie einen Signifikanz-Test durchführen. Dazu geben Sie einfach die gemessenen Werte in die entsprechenden Felder im Rechner ein.

Die Mathematik dahinter

Der converlytics A/B-Test Signifikanz-Rechner basiert auf einem Chi-Quadrat-Test. Der Chi-Quadrat-Test überprüft, ob sich die relative Konversionshäufigkeit der Besucher, die die Variante der Seite angezeigt bekommen, signifikant von der relativen Konversionshäufigkeit der Besucher unterscheidet, die die Originalversion der Seite angezeigt bekommen. Die Testgröße für zwei Versionen der Webseite ist dabei

Formel-CHI

und berechnet sich aus den folgenden Größen:

o: Besuche der Original-Seite
v: Besuche der Variante
co: Konversionen der Original-Seite
cv: Konversionen der Variante
n: Gesamtzahl Besuche
nf: Gesamtanzahl Besuche ohne Konversion
nc: Gesamtanzahl Besuche mit Konversion

Dabei gilt:

n = o + v
nf = n – ( co + cv )
nc = co + cv

Die Freiheitsgrade ergeben sich aus der Anzahl der Testfälle. Hier ist k=2, da es die beiden Möglichkeiten Konversion und keine Konversion gibt und m=2, da es zwei Versionen der Webseite gibt. Bei mehreren Varianten ändert sich die Anzahl der Freiheitsgrade. a ist das dem Konfidenz-Niveau entsprechende Signifikanz-Niveau und berechnet sich aus Konfidenz-Niveau=1-alpha. Die kritischen Werte der Chi²-Verteilung sind zum Beispiel

zum Konfidenz-Niveau 95%
( alpha = 0.05 ) : Chi²1-alpha (( k-1 ) * ( m – 1 )) = Chi² 0.95 (1) = 3.84

zum Konfidenz-Niveau 99%
( alpha = 0.01 ) : Chi²1-alpha (( k-1 ) * ( m – 1 )) = Chi² 0.99 (1) = 6.63

Ist oben berechnetes Chi² größer als der kritische Wert zum Konfidenz-Niveau 95%, so kann davon ausgegangen werden, dass der Unterschied in der Konversionsrate zwischen den beiden Varianten der Webseite nicht zufällig entstanden ist. Wollen Sie mehr darüber erfahren? Dann treten Sie in Kontakt mit uns.

Noch Fragen zum Signifikanz-Rechner?

Sie haben noch Fragen rund um den Signifikanz-Rechner, die Signifikanz im Allgemeinen oder Conversion Rates? Dann nehmen Sie gerne Kontakt mit uns auf.

Unsere Begeisterung für Conversion-Optimierung

Ob das Ergebnis Ihres A/B-Tests aussagekräftig oder nur zufällig ist, erfahren Sie schnell und einfach mit unserem Signifikanz-Rechner.

Simon Rucker
Senior Digital Analytics Consultant

Eine kontinuierliche Conversion-Optimierung ist wie das Gießen und Hegen einer Pflanze. Man kümmert sich liebevoll und leidenschaftlich, um am Ende des Tages die üppigen Früchte zu ernten.

Simon Rucker
Senior Digital Analytics Consultant

logo-gothaer
logo-telekom
logo-flatex
logo-bvg
logo-zeit-online
logo-falke

Referenzen >