Wann und wie kann der Signifikanztest sinnvoll benutzt werden?

Wenn Forscher das Ergebnis des Signifikanztests falsch interpretieren, so kann das nicht dem Verfahren an sich angelastet werden. Gehen wir einmal von einer korrekten Interpretation aus - wann macht es im Prinzip Sinn, einen Signifikanztest zu rechnen? Oder, anders gefragt - wann gibt uns ein p-Wert die Information, die wir benötigen? Ein p-Wert ist entweder ``signifikant'' oder ``nicht signifikant''. Ein Signifikanztest liefert also eine ``Ja/Nein'' Information. Diese Ja/Nein Information wird in der heutzutage dominierenden Neyman Pearson'schen Fassung des Signifikanztestens als Basis für eine Handlungsentscheidung benutzt (Gigerenzer et al., 1989, S. 98ff [36]). Sicherlich haben auch Psychologen Handlungsentscheidungen zu treffen - Soll Therapie A oder Therapie B angewandt werden? Soll die Lernmethode C in den Lehrplan aufgenommen werden? Die Neyman Pearson'sche Fassung des Signifikanztestens beinhaltet allerdings auch, daß man sich über den zu erwartenden Effekt (die Größe des Effekts in der Population) Gedanken macht und abhängig davon die Risiken falscher Entscheidungen abwägt. Das Ergebnis einer solchen Kosten-Nutzen Analyse schlägt sich dann in der Wahl der Stichprobengrößen und der Werte für und nieder. Das ist die Theorie - würde sie befolgt, könnte diese Art des Signifikanztestens auch in der Psychologie in manchen Fällen sinnvoll angewandt werden. Wenn allerdings mehrere Studien zu einem Gegenstandsbereich vorliegen - der Regelfall in der Psychologie - dann sollten die Ergebnisse aller relevanten Studien für eine Entscheidung benutzt werden. Die dazu benötigte Methode ist nicht das Auszählen von Signifikanzen, sondern die Analyse von Effektgrößen (siehe unten).

In der Fisher'schen Version des Signifikanztestens kann der p-Wert als Maß dafür benutzt werden, wie stark der gefundene Wert von der Nullhypothese abweicht (z.B. Gigerenzer et al. 1989, S. 95 [36]). Ceteris paribus ist der p-Wert tatsächlich ein Indikator für die Größe eines Effekts, aber zum einen ist seine Interpretation sehr problematisch (siehe oben), zum anderen kann man die gesuchte Information, die Größe eines Effekts, viel einfacher bekommen. Eine Möglichkeit, unter Zuhilfenahme des Ergebnisses eines Signifikanztests Effektgrößen zu berechnen, wird aus dem folgenden allgemein gültigen Gleichungs-Gerüst (Rosenthal & Rosnow, 1991 [58]) ersichtlich:

Weiß man die ``Größe'' einer Studie, die jeweils als Funktion der Freiheitsgrade oder der Stichprobengröße ausgedrückt werden kann, so kann man aufgrund der Kenntnis des p-Werts die Effektgröße berechnen. Die spezifischen Formeln unterscheiden sich natürlich in Abhängigkeit der verwendeten Teststatistik und Effektgrößenmaße. Der in dem Gleichungs-Gerüst ausgedrückte Zusammenhang ist sehr nützlich, da die meisten Statistikpakete wenig Möglichkeiten für die Berechnung von Effektgrößen bieten, aber Ergebnisse von Signifikanztests sehr ausführlich darstellen. Die Beziehung zwischen dem Ergebnis eines Signifikanztests und Effektgrößen wird später noch ausführlich besprochen.