A/B-Test Testdauer-Rechner

Mit dem Testdauer-Rechner für A/B-Tests können Sie im Voraus berechnen, wie lange ein A/B-Test bei Ihnen laufen muss, bis ein signifikantes Ergebnis erreicht wird.

A/B-Test Testdauer-Rechner

Besucher auf der Testvariante pro Tag:

Aktuelle Konversionsrate in %:

Erwartete Veränderung der Konversionsrate in %:

Hinweise zur Verwendung des Rechners

Für Besucher der Testseite pro Tag geben Sie bitte die durchschnittliche Anzahl an Besuchern pro Tag auf der Testvariante der Seite an. (Besucher, denen die Originalseite gezeigt wird, werden nicht mitgezählt.)

Als Konversionsrate tragen Sie bitte das aktuelle Verhältnis der Anzahl der Konversionen über die Originalseite zu der Anzahl an Besuchern auf der Originalseite ein.

Die erwartete Veränderung der Konversionsrate ist die prozentuale Veränderung, die von der Konversionsrate der Originalseite zur Konversionsrate der Testvariante erwartet wird. Wenn Sie eine deutliche Änderung erwarten, können Sie 25% angeben, wenn Sie eine weniger deutliche Veränderung erwarten, können Sie 15% eintragen.

Mehr über unsere Leistungen als Agentur für Conversion-Optimierung

Eliminieren der störenden Einflussgrößen

Der A/B-Test bzw. der Multivariate Test ist dazu entwickelt worden, unterschiedliche Einflüsse auf verschiedene Testgruppen zu eliminieren. Den Testgruppen werden gleichzeitig unterschiedliche Varianten der Webseite gezeigt, sodass alle äußeren Faktoren gleich sind.

Ein Beispiel

Als Beispiel soll der Online-Kartenverkauf eines großen Kinos betrachtet werden. Die Gestaltung der Kino Webseite ist im Original (A) sehr bunt und voll von verschiedenen grafischen Elementen und in der Testvariante (B) sehr schlicht und aufgeräumt. Nun kann es passieren, dass an Werktagen eher Kinder und Jugendliche Kinokarten kaufen, die eher vom bunten Design angesprochen werden. So würde an Werktagen die Original-Seite besser abschneiden als die Testvariante. Wenn am Wochenende dann sehr viel mehr Erwachsene Kinokarten kaufen, die sich vom schlichten Design angesprochen fühlen, würde sich das ändern und die Testvariante würde besser abschneiden. Wenn nun in absoluten Zahlen außerdem am Wochenende mehr Karten verkauft würden, als unter der restlichen Woche, muss die Entscheidung zugunsten der Testvariante fallen.

Wäre nun der A/B-Test aber nur an fünf Wochentagen durchgeführt worden, hätten sich die Kinobetreiber für die bunte Original-Seite entschieden ohne zu bemerken, dass die Verkaufszahlen des Wochenendes das Verhältnis umgedreht hätten.

Besonderheiten beim A/B-Test

Dennoch sollte – auch wenn die notwendige Besucheranzahl vielleicht schon früher erreicht wurde – ein A/B-Test oder Multivariater Test eine bestimmte Mindestdauer haben. Der Grund liegt unter anderem in der Saisonalität und darin, dass ein positives Testergebnis auch nur für den getesteten Zeitraum signifikant ist.

Empfohlene minimale Testdauer

Um also wenigstens die saisonal schwankenden Einflüsse von Wochentagen zu eliminieren, sollte ein Test mindestens 7 Tage laufen. Damit der Wochenzyklus zweimal durchlaufen wird und die Ergebnisse damit noch stabiler sind, empfiehlt converlytics, für einen A/B-Test oder einen Multivariaten Test mindestens 14 Tage anzusetzen.

Ein interessanter Ansatz wäre übrigens die Überlegung, unter der Woche eine andere Version der Webseite zu zeigen, als am Wochenende. Immer vorausgesetzt, dass dadurch keine Verwirrung bei den Kunden entsteht.

Die Mathematik dahinter

Fehlerwahrscheinlichkeit

Bei einem A/B-Test wird untersucht, ob sich die Konversionsrate der Testvariante und die Konversionsrtate der Originalseite voneinander unterscheiden. Als Ergebnis gibt es die beiden Möglichkeiten, dass der Test entweder einen Unterschied zeigt oder dass er keinen Unterschied zeigt. Der Test kann damit auf zwei verschiedene Arten „falsch liegen“. Einerseits kann der Test einen Unterschied feststellen, obwohl es in Wirklichkeit keinen Unterschied gibt (Wahrscheinlichkeit alpha) und andererseits kann der Test keinen Unterschied feststellen, obwohl es in Wirklichkeit einen Unterschied gibt (Wahrscheinlichkeit beta). Begründung: Das statistische A/B-Testen stützt sich auf Wahrscheinlichkeiten. Das bedeutet, kein Ergebnis ist zu 100% sicher.

Allerdings kann die Testdauer ausreichend groß kalkuliert werden, sodass die Wahrscheinlichkeit, einen Fehler zu machen, relativ klein ist. Gebräuchliche Werte sind dabei für beta 0.2 bis 0.025 und für alpha 0.1 bis 0.01.

Berechnung

Das Konfidenz-Niveau 1-alpha gibt die Wahrscheinlichkeit an, mit der davon ausgegangen werden kann, dass ein Unterschied zwischen den Konversionsraten nicht zufällig ist. Die Teststärke (power) 1-beta gibt die Wahrscheinlichkeit dafür an, dass ein nicht festgestellter Unterschied zwischen den Konversionsraten in Wirklichkeit auch nicht vorhanden ist. Im Rechner fest eingestellt ist eine power von 1-beta=95% zum 99%-Konfidenz-Niveau und eine power von 1-beta=80% zum 95%-Konfidenz-Niveau. Der Berechnung liegt dabei folgende Formel zur Fallzahlplanung zugrunde, wobei z das entsprechende Quantil der Standardnormalverteilung bezeichnet. co ist die aktuelle Konversionsrate der Originalseite und i ist die erwartete Verbesserung der Konversionsrate durch die Testseite.

Die Anzahl an nötigen Besuchern n muss dann noch durch die Anzahl der Besucher, die Ihre Webseite täglich hat, geteilt werden. So erhalten Sie die Dauer in Tagen, die Sie für einen A/B-Test auf der Webseite Ihres Unternehmens ansetzten sollten. Wollen Sie mehr darüber erfahren? Dann treten Sie in Kontakt mit uns.

Noch Fragen zum Testdauer-Rechner?

Sie haben noch Fragen rund um den Testdauer-Rechner für A/B-Tests, die Signifikanz im Allgemeinen oder Conversion Rate Optimierung? Dann nehmen Sie gerne Kontakt mit uns auf.

Unsere Begeisterung für Conversion-Optimierung

Referenzen >