Was bedeutet das Ergebnis eines Signifikanztests?

Viele Studenten (und auch einige etablierte Forscher) sind überrascht, wenn sie bemerken, daß es nicht einen Signifikanztest, sondern mehrere unterschiedliche gibt (siehe Ostmann & Wutke, 1994 [54], für einen Überblick). Wenn man Statistiklehrbücher für Psychologen liest, scheint es allerdings oft so, wie wenn nur ein einziges Verfahren existierte. Dieses Verfahren ist eine Mixtur verschiedener Ansätze, meist gemischt aus dem von R. A. Fisher entwickelten Signifikanztesten und dem Hypothesentesten von J. Neyman and E. S. Pearson, oft garniert mit Bayesianischen Interpretationen (Acree, 1979 [1]; Gigerenzer & Murray, 1987 [35]). Der Ansatz von Fisher unterscheidet sich von dem Neyman-Pearson'schen in vielerlei Hinsicht (siehe hierzu Gigerenzer, 1993 [34]; Oakes, 1986 [52]). Einige dieser Unterschiede seien hier kurz wiederholt: Während bei Fisher nur eine statistische Hypothese, die Nullhypothese (), spezifiziert wird, ist die Alternativhypothese, meist als bezeichnet, ein fester Bestandteil des Neyman-Pearson Ansatzes. Konzepte wie ``-Fehler'' oder ``Teststärke'' sind somit nur im zweiten Ansatz sinnvoll zu interpretieren. Bei Neyman und Pearson wird klar unterschieden zwischen dem Signifikanzniveau und dem p-Wert. Während die Wahrscheinlichkeit dafür bezeichnet, die ungerechtfertigt zu verwerfen, ist p die Wahrscheinlichkeit dafür, daß das empirische Datum oder ein extremeres Datum gefunden werden kann, wenn die wahr ist. Den p-Wert erhält man nach dem Experiment, wird vor dem Experiment festgelegt. Beim Fisher'schen Verfahren kann hingegen das ``Signifikanzniveau'' vor und nach dem Test bestimmt werden. Der interessanteste Unterschied zwischen den beiden Ansätzen liegt aber in der Interpretation des Ergebnisses des Signifikanztests. In beiden Ansätzen ist das Ergebnis eines Signifikanztests die Auftretenswahrscheinlichkeit eines Datums unter der Gültigkeit der Nullhypothese - , der oben erwähnte p-Wert. Ist p kleiner als so ist das Ergebnis signifikant, andernfalls ist es nicht signifikant. Im Ansatz von Neyman und Pearson erhält das Testergebnis eine ``Verhaltens-Interpretation''. Bei einem signifikanten Ergebnis sollte man sich so verhalten, als ob die Alternativhypothese wahr sei, bei einem nicht signifikanten Ergebnis, als ob die Nullhypothese zuträfe (vgl. Blackwelder, 1982 [8]). Im Ansatz von Fisher kann die nur verworfen, nicht aber angenommen werden - bei Nichtsignifikanz kann keine Entscheidung getroffen werden (siehe Gigerenzer et al., 1989 [36], über den Wandel in Fisher's eigener Interpretation des p-Werts). Die im folgenden Paragraph besprochenen Interpretationen von p-Werten würde Fisher jedoch nicht unterstützt haben.

 
• Wie kann man p-Werte mißinterpretieren? - Einige beliebte Varianten
• Wann und wie kann der Signifikanztest sinnvoll benutzt werden?
• Warum ist Signifikanztesten so beliebt?