Ein Beispiel

Der Input für eine Metaanalyse sind Effektgrößen aus Einzelstudien, aus denen dann, und das ist meist das Hauptanliegen der Metaanalyse, der Populationseffekt geschätzt werden soll. Tabelle 2 zeigt die Effektgrößen (Korrelationen) aus 30 fiktiven Studien zur Wirksamkeit von Aufmerksamkeitstrainings. ``Programm X'' und ``Programm Y'' unterscheiden sich nach Ansicht der Experten nur geringfügig und sollen deshalb einer gemeinsamen Analyse unterworfen werden. In jeder der 30 Studien wurde eine Kontrollgruppe mit einer Experimentalgruppe verglichen und die Stichprobengröße pro Gruppe war jeweils n=20.

Tabelle 2: Ergebnisse aus 30 hypothetischen Studien, in denen Programm X, bzw. Programm Y mit je einer Kontrollgruppe verglichen wurde. Der Treatment-Effekt (Ergebnis für Trainingsgruppe minus Ergebnis für Kontrollgruppe) ist als r wiedergegeben. Die Werte sind Zufallsziehungen aus zwei Stichprobenverteilungen mit den vorgegebenen Mittelwerten rho =.24 und rho=.44 für Programm X und Programm Y respektive.

r	Programm	signifikant (alpha=.05, zweiseitig)
0.41	X	ja
0.63	Y	ja
0.50	Y	ja
0.52	Y	ja
0.43	Y	ja
0.02	X	nein
0.39	X	ja
0.53	X	ja
0.31	Y	nein
0.36	Y	ja
0.43	X	ja
0.15	X	nein
0.33	X	ja
0.33	X	ja
0.32	Y	ja
0.22	X	nein
0.68	Y	ja
0.20	X	nein
0.18	X	nein
0.33	Y	ja
0.62	Y	ja
0.21	Y	nein
0.45	X	ja
0.39	Y	ja
0.44	Y	ja
0.41	X	ja
0.11	X	nein
0.14	X	nein
0.46	Y	ja
0.33	Y	ja

Zunächst werden in der psychometrischen Metaanalyse die einzelnen Effektgrößen von Artefakten gesäubert, worauf an dieser Stelle nicht eingegangen werden kann (siehe hierzu Hunter & Schmidt, 1990 [42]). Danach wird der mit der Stichprobengröße gewichtete durchschnittliche Effekt berechnet: , wobei für die Gesamt-Stichprobengröße in Studie i (konstant N=40 in unserem Beispiel) und für den in Studie i gefundenen Effekt steht. Der gesuchte Mittelwert für unsere 30 Studien ist =.36. Beim nächsten Schritt wird klar, warum dieses Verfahren ``psychometrische Metaanalyse'' genannt wurde. In Analogie zur in der klassischen Testtheorie verwendeten Formel - das beobachtete Testergebnis setzt sich zusammen aus dem ``wahren Wert'' und einem Fehleranteil - verwenden Hunter und Schmidt (1990) [42] die folgende Gleichung: - die Varianz der analysierten Stichproben-Korrelationen setzt sich zusammen aus der Varianz der Populations-Korrelationen und der beim Ziehen von Zufallsstichproben zu erwartenden Fehler-Varianz. Wenn nun die Varianz in den gefundenen Effektgrößen ausschließlich durch den Stichprobenfehler zustande kam, müßte die Varianz der Populations-Korrelationen 0 sein. Dies würde dann heißen, daß die Effektgrößen aus einer einzigen Population (und nicht aus mehreren unterschiedlichen Populationen) stammen. Wie steht es nun in unserem Beispiel damit? Die Fehler-Varianz () und die Varianz der Stichprobenkorrelationen () werden folgendermaßen berechnet (Hunter & Schmidt, 1990, S. 108-109 [42] - die Autoren verwenden in ihren Beispielen konsistent das Symbol anstelle von s):

und

wobei der Mittelwert aller Stichprobengrößen pro Studie ist. In unserem Beispiel (mit den Werten aus Tabelle 2) ist =.0194 und die mit der Stichprobengröße pro Studie gewichtete Varianz der Stichproben-Korrelationen ist =.0246. Die Varianz der Populations-Korrelationen ist somit =.0052. Diese Varianz ist zwar verhältnismäßig klein, schließt aber nicht aus, daß der gefundene durchschnittliche Effekt nicht einen, sondern mehrere Populationseffekte repräsentiert. Der nächste Schritt ist deshalb, nach theoretisch fundierten Moderatorvariablen zu suchen. Eine solche Moderatorvariable in unserem Beispiel ist die Art des angewandten Programms, X oder Y. Die Ergebnisse der entsprechenden Analyse dieser zwei Subgruppen sind, zusammen mit den ursprünglichen Ergebnissen, in Tabelle 3 aufgelistet.

Tabelle 3: Ergebnisse der psychometrischen Metaanalyse (gerundet) aufgeteilt nach ``Programm X'' versus ``Programm Y''. Die Ergebnisse f"ur die Gesamtgruppe (``kombiniert'') sind zum Vergleich nochmals dargeboten.

	Programm X	Programm Y	kombiniert
rMean	.29	.44	.36
sigma2r	.0212	.0169	.0246
sigma2e	.0215	.0167	.0194
sigma2rho	-.0003	.0002	.0052

Wenn man für die beiden Programme getrennte Analysen durchführt, werden die Varianzen der Populations-Korrelationen deutlich kleiner (-.0003 für Programm X und .0002 für Programm Y) als die Varianz der Populations-Korrelationen für alle 30 Studien (unterste Zeile in Tabelle 3). Dies deutet darauf hin, daß Programm X weniger wirksam ist als Programm Y. In der Tat wurden die Daten aus zwei unterschiedlichen Stichprobenverteilungen für r mit den Mittelwerten =.24 und =.44 für Programm X, bzw Programm Y mittels einer Computersimulation generiert.

 
Abbildung 7: Stamm-und-Blatt Darstellung der Ergebnisse aus 30 hypothetischen Studien, in denen Programm X, bzw. Programm Y mit je einer Kontrollgruppe verglichen wurden (jeweils 15 Studien). Der Treatment-Effekt (Ergebnis für Trainingsgruppe minus Ergebnis für Kontrollgruppe) ist als r wiedergegeben. Die Werte sind Zufallsziehungen aus zwei Stichprobenverteilungen mit den Mittelwerten r=.24 und r=.44 für Programm X und Programm Y respektive.

Abbildung 7, eine Stamm & Blatt Darstellung der Information in Tabelle 2 zeigt (neben der Demonstration, daß ein Stamm & Blatt Diagramm eine viel kompaktere und übersichtlichere Darstellung erlaubt als eine Tabelle) eine für manche vielleicht erstaunliche Tatsache, die man leicht aus dem Blick verliert, wenn man die Ergebnisse von Einzelstudien beurteilt: Die Variation, die alleine aus dem Stichprobenfehler herrührt, ist enorm. Für Programm X variieren die Werte zwischen r=.02 und r=.53 und für Programm Y ergab die Simulation Werte zwischen r=.21 und r=.68. Diese kleine Demonstration verdeutlicht, daß das alleinige Auszählen von Signifikanzen keine zufriedenstellenden Ergebnisse liefern kann. Sie zeigt aber auch den Grund für die Wichtigkeit von Replikationen.