Signifikanzrechner

Der Signifikanzrechner unterstützt Sie bei der Durchführung von A/B-Tests. Sie können damit die Signifikanz berechnen und die Konversionsrate der einzelnen Testvarianten bestimmen. So gelingt es, einfach und schnell zu ermitteln, ob Unterschiede zwischen den Konversionsraten Ihrer Testvarianten signifikant sind, oder ob sie zufällig entstanden sind.

Signifikanzrechner

Visitors

Konversionen

Konversionsrate

Signifikanz

A – Original:

Visitors

Konversionen

Konversionsrate

B – Variante 1:

Visitors

Konversionen

Konversionsrate

Signifikanz

B – Variante 2:

Visitors

Konversionen

Konversionsrate

Signifikanz

B – Variante 3:

Visitors

Konversionen

Konversionsrate

Signifikanz

B – Variante 4:

Visitors

Konversionen

Konversionsrate

Signifikanz

B – Variante 5:

Visitors

Konversionen

Konversionsrate

Signifikanz

Hinweis: Tragen Sie bitte die Daten aus Ihrem A/B-Test als ganze positive Zahlen in die Felder ein.

Variante entfernen

Variante hinzufügen

Signifikanz berechnen

Tipps anfordern

Profitieren Sie von Conversion-Optimierung mit converlytics: Direkt zu unseren Leistungen

Informationen zur Verwendung

Im Folgenden finden Sie einige Hinweise zur Verwendung des Signifikanzrechners. Bitte geben Sie Ihre Daten als ganze positive Zahlen in die entsprechenden Felder ein. Anschließend können Sie die Signifikanz berechnen.

Der Rechner berechnet die Konversionsrate und gibt Ihnen als Ausgabe an, ob sich das Ergebnis der einzelnen Varianten jeweils signifikant vom Original unterscheidet. Geprüft wird die Signifikanz dabei sowohl zum Signifikanzniveau 5 % als auch zum Signifikanzniveau 1 %. Welches Signifikanzniveau erfüllt wird, können Sie dem erklärenden Text entnehmen. Weiter unten erfahren Sie bei Interesse noch mehr über die Mathematik hinter dem Rechner.

Das Signifikanzniveau 1 % ist strenger als das Signifikanzniveau 5 %. Bei einem zum Signifikanzniveau 1 % signifikanten Ergebnis sprechen wir deshalb von starker Signifikanz.

Ist das Ergebnis meines A/B-Tests signifikant?

Wenn Sie auf der Webseite Ihres Unternehmens in einem A/B-Test verschiedene Versionen einer Seite gegeneinander testen, erhalten Sie als Ergebnis im besten Fall, dass die Konversionsrate der neuen Variante höher ist als die der Original-Seite. Um die Möglichkeit auszuschließen, dass dieses Ergebnis nur zufällig so entstanden ist, sollten Sie einen Signifikanz-Test durchführen. Dazu geben Sie einfach die gemessenen Werte in die entsprechenden Felder im Rechner ein und berechnen die Signifikanz.

Sollte die Konversionsrate der neuen Variante niedriger sein als die der Originalseite, zeigt Ihnen der Signifikanzrechner ebenfalls an, ob es sich dabei um einen signifikanten Unterschied handelt.

Mehr über unsere Leistungen als Agentur für Conversion-Optimierung

Wie lange sollte ich meinen A/B-Test laufen lassen?

Auch wenn Ihr A/B-Test aus mathematischer Perspektive schon nach wenigen Stunden oder Tagen ein signifikantes Ergebnis zeigt, sollten Sie ihn unbedingt noch etwas länger laufen lassen. Und zwar empfehlen wir eine Mindestlaufzeit von zwei Wochen.

Damit stellen Sie sicher, dass beispielsweise saisonale Einflüsse, die auf die verschiedenen Varianten unterschiedlich wirken können, das Ergebnis Ihres A/B-Tests nicht verfälschen.

Ausnahme: Wenn Ihnen der Signifikanzrechner schon nach kurzer Zeit Hinweise darauf zeigt, dass Ihre Testvariante deutlich schlechter performt und Sie das wichtige Konversionen (wie zum Beispiel E-Commerce-Bestellungen) kostet, dann können Sie in Erwägung ziehen, den Test vorzeitig abzubrechen. Es besteht dann zum Beispiel die Möglichkeit, die getestete Variante anzupassen und erneut zu testen.

Mehr über die Mindestlaufzeit eines A/B-Tests und einen Rechner zum Berechnen der Testdauer finden Sie bei unserem Tool A/B-Test-Testdauer-Rechner.

Direkt zum A/B-Test-Testdauer-Rechner

Die Mathematik hinter dem Signifikanzrechner

Der converlytics-A/B-Test-Signifikanzrechner basiert auf einem Chi-Quadrat-Test. Der Chi-Quadrat-Test überprüft, ob sich die relative Konversionshäufigkeit der Besucher, die die Variante der Seite angezeigt bekommen, signifikant von der relativen Konversionshäufigkeit der Besucher unterscheidet, denen die Originalversion der Seite angezeigt wird.

Berechnung von Chi-Quadrat

Die Testgröße Chi-Quadrat für zwei Versionen der Webseite ist dabei im Allgemeinen

Konkret für eine Variante im Vergleich zum Original im A/B-Test-Signifikanzrechner oben berechnet sich Chi-Quadrat wie folgt:

Die einzelnen Variablen haben folgende Bedeutung:

V. ges.: Alle Visits
V. orig.: Visits Originalseite
V. var.: Visits der Variante
C. orig.: Konversionen der Originalseite
C. var.: Konversionen der Variante
V. ges. ohne C.: Gesamtanzahl Visits ohne Konversionen
V. ges. mit C.: Gesamtanzahl Visits mit Konversionen

Das Ergebnis Chi-Quadrat wird mit den Quantilen der Chi-Quadrat-Verteilung verglichen. So erhält man die Information, ob sich die Anzahl an Konversionen der Variante signifikant von denen des Originals unterscheiden.

Quantile der Chi-Quadrat-Verteilung

Ausschnitt aus einer Übersicht über die Quantile der Chi-Quadrat-Verteilung:

Ist das oben berechnete Chi-Quadrat größer als das jeweils in der Tabelle abgelesene Quantil, so ist das Ergebnis des A/B-Tests zum entsprechenden Signifikanzniveau signifikant. Das Signifikanzniveau beschreibt übrigens (in einfachen Worten) die Verlässlichkeit der Aussage zum Ergebnis des A/B-Tests. Bei einem Signifikanzniveau von beispielsweise 5 % lassen wir eine fünfprozentige Fehlerwahrscheinlichkeit unserer Aussage zu. Diese zulässige Fehlerwahrscheinlichkeit legen wir beim A/B-Testen im Voraus fest. Üblich sind zum Beispiel Werte von 0.1, 0.05 und 0.01. Im converlytics-Signifikanzrechner verwenden wir die Werte 0.05 und 0.01.

Sie möchten noch mehr über Signifikanz und Signifikanzniveau erfahren? Dann schauen Sie doch mal in unserem Blog-Artikel zum Thema Signifikanz vorbei.

Noch etwas mathematischer

Beim statistischen Testen formuliert man eine Hypothese und eine Alternativhypothese. Der Test besteht dann darin, zu testen, ob die Hypothese wahr ist, oder ob man sich für die Alternativhypothese entscheidet.

Für den A/B-Test-Signifikanzrechner wird folgende Hypothese formuliert:

Das Original und die Variante unterscheiden sich hinsichtlich der Konversionshäufigkeit nicht voneinander.

Die Alternativhypothese ist dann:

Die Konversionshäufigkeit der Variante unterscheidet sich von der Konversionshäufigkeit des Originals.

Zeigt der Chi-Quadrat-Test ein signifikantes Ergebnis, so verwirft man die Hypothese zugunsten der Alternativhypothese. Jedoch gibt es eine bestimmte Wahrscheinlichkeit, dass diese Entscheidung falsch ist. Und genau dieser Fehlerwahrscheinlichkeit begegnet man mit dem Festlegen des Signifikanzniveaus. Über das Signifikanzniveau kann man festlegen, welche Fehlerwahrscheinlichkeit man höchstens zulassen will. Wenn man ein Signifikanzniveau von 5 % wählt, so lässt man also eine Fehlerwahrscheinlichkeit von maximal 5 % zu.

Der converlytics-Signifikanzrechner prüft die Signifikanz wie oben beschrieben sowohl zum Signifikanzniveau von 5 % als auch zum Signifikanzniveau von 1 %.

Freiheitsgrade

Wenn Sie die berechneten Werte der oben beschriebenen Formel mit den Quantilen der Chi-Quadrat-Verteilung vergleichen, stellen Sie fest, dass Sie noch eine Information zu den Freiheitsgraden benötigen, um die Signifikanz bestimmen zu können.

Die Freiheitsgrade ergeben sich (vereinfacht gesagt) aus der Anzahl der Möglichkeiten in unserem Testszenario. Es gibt die beiden Möglichkeiten Konversion und keine Konversion und zwei Versionen der Webseite. Daraus ergibt sich sozusagen eine 2×2- also eine Vierfeldertafel. Die Anzahl der Freiheitsgrade ergibt sich aus der Anzahl an Zeilen und Spalten anhand folgender Formel:

Wir haben es also mit einem Freiheitsgrad zu tun. Daran ändert sich auch nichts, wenn weitere Varianten im Signifikanzrechner hinzugefügt werden, da wir die Varianten jeweils einzeln mit dem Original vergleichen.

Wollen Sie mehr darüber erfahren? Dann treten Sie in Kontakt mit uns.

Signifikanz

Mithilfe von Chi-Quadrat und den Freiheitsgraden können wir schließlich prüfen, ob der Test einen signifikanten Unterschied zeigt.

Zur Erinnerung: Ist oben berechnetes Chi-Quadrat nämlich größer als der kritische Wert zu unserem festgelegten Signifikanzniveau (und wir haben wie oben beschrieben für den Signifikanzrechner 5 % und 1 % ausgewählt), den wir aus der Tabelle mit den Quantilen der Chi-Quadrat-Verteilung ermitteln können, so kann davon ausgegangen werden, dass der Unterschied in der Konversionsrate zwischen den beiden Varianten der Webseite nicht zufällig entstanden ist. Wir haben es also mit einem signifikanten Ergebnis (einem signifikanten Unterschied zwischen dem Original und der Variante) zu tun.

Signifikanzrechner für Umsatzziele und Konversionsraten

Der converlytics-Signifikanzrechner hilft Ihnen bei der Bewertung Ihres A/B-Tests. Da als Berechnungsgrundlage ein Chi-Quadrat-Test verwendet wird, können damit aber keine Signifikanzen für Unterschiede in Umsätzen und Konversionsraten (wenn uns die absoluten Zahlen für Visitors und Konversionen nicht zur Verfügung stehen) ermittelt werden. Dafür sind andere mathematische Testverfahren notwendig.

In den meisten Fällen lassen sich A/B-Tests so gestalten, dass wir die Signifikanz mit dem Chi-Quadrat-Signifikanzrechner ermitteln können. Sollten wider Erwarten andere Testverfahren notwendig werden, machen wir Ihnen gerne Vorschläge. Wir freuen uns darauf, ein individuell für Sie entwickeltes Testszenario und aussagekräftige Berechnungen der Signifikanz umzusetzen.

Mithilfe optimal auf Sie zugestimmter A/B-Test-Tools testen wir Varianten und steigern Ihre Konversionsraten signifikant. Neugierig geworden? Dann nehmen Sie Kontakt mit uns auf.

Unsere Begeisterung für Conversion-Optimierung

Referenzen >