Signifikanz ist eine mathematische Größe, die ein Urteil darüber ermöglicht, ob ein gemessener Zusammenhang zufällig oder aussagekräftig ist. Es geht dabei um den Zusammenhang zwischen verschiedenen Variablen einer Stichprobe und um die Frage, ob dieser Zusammenhang Rückschlüsse auf die Grundgesamtheit zulässt. Die Signifikanz ist ein zentrales Element im statistischen Testen. Auf dieser Seite erfahren Sie alles Wichtige rund um die Begriffe Signifikanz und Signifikanzniveau in einfach und verständlich erklärten Zusammenhängen.
Signifikanz einfach erklärt
Grundsätzlich geht es bei der Signifikanz darum, Unterschiede zu bewerten. In der Regel interessiert man sich für den Unterschied zwischen zwei Grundgesamtheiten, auf die unterschiedliche Einflussfaktoren wirken. Aus diesen beiden Grundgesamtheiten werden Stichproben genommen und auf bestimmte Variablen hin untersucht. Stellt man dann fest, dass sich die Stichproben hinsichtlich der untersuchten Variablen unterscheiden, so folgt die Frage, ob der Unterschied zufällig ist oder ob er etwas mit den Einflussfaktoren zu tun hat. Wenn der Unterschied auf die Einflussfaktoren zurückzuführen ist, spricht man von Signifikanz.
Nehmen wir als Beispiel für unsere Betrachtungen zur Signifikanz einen A/B-Test. Gruppe 1 der Webseitenbesucher sieht Variante A der Seite und Gruppe 2 sieht Variante B. In Variante B gibt es als Einflussfaktor einen zusätzlichen CTA. Nun nehmen wir eine Stichprobe beider Gruppen, indem wir unseren A/B-Test 14 Tage lang ausspielen und uns anschauen, wie die Conversion Rate in beiden Gruppen aussieht.
Nach 14 Tagen haben wir folgendes Ergebnis:
| Visitors | Conversions | Conversion Rate | |
|---|---|---|---|
| A | 10.430 | 120 | 1,15 % |
| B | 9.810 | 230 | 2,34 % |
Die Webseitenbesucher in Gruppe B haben mit 2,34 Prozent eine höhere Conversion Rate als in Gruppe A mit 1,15 Prozent. Naiv könnte man also direkt davon ausgehen, dass der zusätzliche CTA zu einem besseren Ergebnis führt. Doch ist das wirklich so?
Folgende Überlegung: Würden wir den Test mit Gruppe A weitere 14 Tage laufen lassen und hätten wir dann wieder exakt 10.430 Besucher, könnten wir dann davon ausgehen, dass wieder exakt 120 davon eine Conversion auslösen? Nein, natürlich nicht! Denn aufgrund der zufälligen Schwankungen hätten wir vielleicht nur 109 Conversions oder 130 oder 123.
Wir müssen also untersuchen, ob die 230 Conversions in Gruppe B eine zufällige Schwankung sind, oder ob sie auf den zusätzlichen CTA zurückzuführen sind, ob also Signifikanz besteht.
Dazu gibt es eine Reihe von statistischen Signifikanz-Tests. Grundsätzlich legt man dabei eine bestimmte Fehlerwahrscheinlichkeit fest, die man toleriert. Diese Fehlerwahrscheinlichkeit beschreibt die Wahrscheinlichkeit, dass man sich falsch entscheidet. Sie wir auch Signifikanzniveau genannt und wir schauen sie uns im nächsten Abschnitt noch etwas genauer an. Zeigt der statistische Test eine geringere als die festgelegte Fehlerwahrscheinlichkeit, so spricht man von einem signifikanten Ergebnis, also von Signifikanz.
Signifikanzniveau einfach erklärt
Das Signifikanzniveau legt im statistischen Test fest, ab wann ein Ergebnis als signifikant bezeichnet wird. Dieses Kriterium für die Signifikanz wird oft auch als α-Niveau bezeichnet. Ein α-Niveau von α = 0,05 bedeutet, dass man eine Fehlerwahrscheinlichkeit von 5 Prozent in Kauf nimmt. Attestiert uns ein statistischer Test zum α-Niveau von 0,05 also Signifikanz, so liegen wir mit unseren Rückschlüssen mit einer Wahrscheinlichkeit von nur 5 Prozent falsch.
Warum wählen wir dann nicht ein kleineres α-Niveau, um uns mit unserer Signifikanz noch sicherer zu sein? Die Antwort auf diese Frage erfordert ein wenig statistisches Hintergrundwissen. Denn das geforderte Signifikanzniveau beeinflusst direkt die notwendige Stichprobengröße und den geforderten Unterschied zwischen den Ergebnissen. Einfach gesagt: Wenn wir Signifikanz zu einem sehr kleinen Signifikanzniveau erreichen wollen, dann benötigen wir immens große Stichproben oder sehr große Unterschiede zwischen den untersuchten Größen in den beiden Stichproben.
In unserem Beispiel bräuchten wir dann sehr viel mehr Traffic auf den Webseiten oder wir müssten den Test Ewigkeiten laufen lassen oder wir bräuchten extrem große Unterschiede zwischen den Conversion Rates der beiden Gruppen. In Zeiten von eng geschnürten Budget-Gürteln und hochfrequenten Deadlines oftmals keine Option. Und die Unterschiede in der Conversion Rate sind oft recht klein und können trotzdem schon zu deutlich höherem Revenue führen.
Wir entscheiden uns also für einen Mittelweg und wählen das α-Niveau so, dass die Fehlerwahrscheinlichkeit einigermaßen akzeptabel ist und trotzdem mit überschaubaren Ressourcen Signifikanz erreicht wird. Üblich sind in der wissenschaftlichen Arbeit übrigens Signifikanzniveaus zwischen α = 0,05 und α = 0,01 Prozent.
Weitere Ressourcen zum Thema Signifikanz
Wenn Sie sich dafür interessieren, ob ein von Ihnen durchgeführter A/B-Test ein signifikantes Ergebnis hat, ob also Signifikanz besteht, empfehlen wir Ihnen unseren Signifikanz-Rechner.
Wenn Sie ausrechnen möchten, wie lange Sie Ihrer Audience einen A/B-Test ungefähr ausspielen müssen, bis Sie Signifikanz erreicht haben, können Sie unseren A/B-Test-Rechner verwenden.
Neugierig auf noch tiefergehende Informationen rund um Signifikanz und A/B-Tests? Dann lesen Sie mehr über unsere Leistungen als Agentur für Conversion-Optimierung. Und nehmen Sie gerne hier Kontakt mit unseren Experten auf.