Wie kann man p-Werte mißinterpretieren? - Einige beliebte Varianten

Die Wahrscheinlichkeit eines empirischen Datums (D) unter Gültigkeit der ist in den meisten Fällen nicht besonders interessant. Weit interessanter wäre es, aufgrund der Kenntnis des Resultats eines Experiments die Antwort auf die Frage nach der Wahrscheinlichkeit von oder zu erhalten. Weitere interessante Fragen wären etwa ``Wie bedeutsam ist der Effekt?'' oder ``Wie wahrscheinlich ist es, daß ich in einem zweiten Experiment wieder ein signifikantes Ergebnis erhalte?''. Der p-Wert liefert leider auf keine dieser Fragen eine Antwort, wird aber nicht selten so interpretiert, wie wenn er dies täte (z.B. Tversky & Kahneman, 1971 [66]; Oakes, 1986 [52]). So wird häufig die tatsächlich gefundene Wahrscheinlichkeit, mit der inversen Wahrscheinlichkeit verwechselt. Gigerenzer (1993) [34] nennt dies ``Bayesian wishful thinking'', da man mithilfe des Bayes Theorems eine solche inverse Wahrscheinlichkeit berechnen könnte (siehe Kleiter, 1981 [45], für eine Einführung in die Bayes Statistik). Die Bedeutsamkeit eines Effekts, die zweite interessante Frage, hängt neben inhaltlichen Kriterien in erster Linie von seiner Größe ab (siehe Absatz über Effektgrößen). Und schließlich kann die Wahrscheinlichkeit dafür, bei der Wiederholung eines Experiments ein signifikantes Resultat bei identischem zu replizieren, nur geschätzt werden, wenn vorher eine Schätzung des Populationseffekts vorliegt. Außerdem muß hierzu die Größe der Stichprobe spezifiziert werden. Ein p-Wert alleine liefert diese Informationen nicht.

Meist korrespondiert die substantielle- oder Forschungshypothese mit der , d. h., ein signifikantes Ergebnis wird (in unterschiedlichen Varianten) als Unterstützung dieser Forschungshypothese interpretiert. Wenn aber die Forschungshypothese lautet, daß ``kein Unterschied'' vorliegt (z.B. zwischen einer Kontrollgruppe und einer Experimentalgruppe vor der experimentellen Manipulation), oder daß ``kein Zusammenhang'' besteht, wenn sie also mit der korrespondiert, dann ist besondere Vorsicht geboten. Tatsächlich ist in solchen Fällen die Teststärke, die a priori Wahrscheinlichkeit, ein signifikantes Ergebnis zu erhalten, wenn ein Effekt in der Population vorliegt, oft sehr niedrig; ein nicht signifikantes Ergebnis wird aber trotzdem in solchen Fällen oft als eine Bestätigung der Forschungshypothese interpretiert (Sedlmeier & Gigerenzer, 1989 [61]).