Die Signifikanz ist ein Maß für die Wahrscheinlichkeit, dass unter Berücksichtigung eines festgelegten Signifikanzniveaus, der gemessene Zusammenhang zwischen mindestens zwei Variablen nicht zufällig auftritt, sondern das Ergebnis auf die Grundgesamtheit übertragen werden kann.
Bei einer Signifikanz liegt die Irrtumswahrscheinlichkeit einer Hypothese unterhalb des Signifikanzniveaus.
Beispiel:
Wir stellen die Hypothese auf, dass die Anzahl der Warenkorbabbrecher durch die Ausspielung eines Exit Intent Layers geringer ausfällt, als wenn keine Maßnahme ergriffen wird. Dafür definieren wir in einem A/B-Test eine zufällige Test- und Nullgruppe.
Mit Hilfe der Signifikanz lässt sich folgende Frage beantworten: Ist der gemessene Zusammenhang, also weniger Warenkorbabbrecher bei einer Exit Intent-Maßnahme, auf die Grundgesamtheit übertragbar, oder stellt die Stichprobe ein zufälliges Ergebnis dar?
Um die Frage beantworten zu können, muss eine Irrtumswahrscheinlichkeit (p-Wert) für die Hypothese definiert werden, dessen Obergrenze mit dem Signifikanzniveau (α) angegeben wird. In der Regel wird eine Irrtumswahrscheinlichkeit mit bis zu 5 Prozent Abweichung, sprich α=5%, noch als signifikant angesehen.
Mit einem Hypothesentest kann dann der p-Wert errechnet werden. Liegt dieser unter den α=5%, so gilt das Ergebnis als signifikant.
Bezogen auf unser Beispiel bedeutet das, dass bei einem signifikanten Ergebnis der ermittelte Zusammenhang der Stichprobe mit einer Wahrscheinlichkeit von mindestens 95 Prozent auf die Gesamtheit anwendbar ist. Mit einer 5-prozentigen Wahrscheinlichkeit ist der gemessene Zusammenhang zufällig.