Einleitung

Das Testen von Nullhypothesen dominiert nach wie vor die Auswertung psychologischer Forschungsresultate. Angesichts einer etwa 35 Jahre andauernden und größtenteils unwidersprochenen, substantiellen Kritik der Anwendung des Verfahrens (Carver, 1993 [12]) ist das höchst merkwürdig. Meist ist es allerdings bei der Kritik geblieben, d. h., es wurden kaum konstruktive Alternativen angeboten. Eine in den USA weithin rezipierte Ausnahme ist ein kürzlicher Herausgeberbeitrag von Geoffrey Loftus in Memory & Cognition (Loftus, 1993a [46]). Loftus (1993a,b [47]) argumentiert, daß p-Werte nahezu nutzlos für die Interpretation psychologischer Daten sind. Statt dessen schlägt er vor, graphische Methoden zu verwenden, die Aussagen über Muster und Größe von Effekten erlauben. Loftus ist allerdings nicht der erste Herausgeber, der sich gegen den übermäßigen Gebrauch von Signifikanztests ausspricht und Alternativen einfordert. Schon 1970 bemerkten Jürgen Bredenkamp und Hubert Feger in der Zeitschrift für Sozialpsychologie, daß das Ergebnis eines Signifikanztests ``oftmals inadäquat'' sei (Bredenkamp & Feger, 1970 [10]). Sie ermuntern explizit zu exakten Replikationen von Experimenten und zur Einsendung von Manuskripten mit nichtsignifikanten Ergebnissen und schlagen vor, Effektgrößen zu berechnen. Letztendlich kommen sie jedoch zu dem etwas deprimierenden Schluß, ``...an der augenblicklichen Bevorzugung des Signifikanztests als dem statistischen Verfahren nichts ändern zu können...'' (S. 45). Gut zehn Jahre später konnten Hager & Westermann (1982) [39] diesen Schluß empirisch untermauern.

Alternativen und Ergänzungen zum Signifikanztesten sind seit langer Zeit bekannt und werden zumindest sporadisch in fast allen neueren Statistikpaketen für PC und Macintosh angeboten (vgl. Butler & Neudecker, 1989 [11]). Warum werden sie dann nicht angewandt? Meine hier schon vorweggenommene (Haupt-) Antwort auf diese Frage ist, daß die meisten Psychologen zwar schon von Alternativen gehört haben, aber wenig Konkretes darüber wissen. Dies hat natürlich zur Folge, daß solche Alternativen auch nicht gelehrt werden. In diesem Beitrag sollen die Vorschläge von Bredenkamp, Feger und Loftus aufgegriffen, erweitert und konkretisiert werden. Die Adressaten sind nicht in erster Linie methodisch versierte Leser, denen vieles bekannt sein wird, sondern vor allem ``Nicht-Methodiker'', der Großteil der an Universitäten oder Forschungsinstituten tätigen Psychologen. Dieser Personenkreis ist möglicherweise mit der Problematik des Signifikanztestens nicht eingehend vertraut. Deswegen wird zunächst die Kritik am Nullhypothesen-Testen in Grundzügen rekapituliert. Sodann, und das ist der Hauptteil des Beitrags, werden einige Vorschläge dazu gemacht, wie Signifikanztesten ergänzt oder auch ganz ersetzt werden kann. Die vorgestellten Methoden (Konfidenzintervalle, Verfahren der Explorativen Datenanalyse und Verfahren zur Berechnung und Integration von Effektgrößen) werden jeweils anhand von Beispielen illustriert. Aus Platzgründen ist dieser Überblick eher knapp gehalten. Die Beispiele sollten aber das Prinzip der Verfahren verständlich machen, und die angegebene Literatur wird in den meisten Fällen weiterhelfen können.