next up previous contents
Next: Fazit Up: Mehr Effektgrößen - Metaanalyse. Previous: Ein Beispiel

Probleme der Metaanalyse

Kritiker, aber auch überzeugte Anhänger der Metaanalyse, haben auf eine Reihe von (oft lösbaren) Problemen dieses Ansatzes hingewiesen. Das ``Müll rein Müll raus Problem'' thematisiert die unterschiedliche Qualität von Studien. Methodisch sehr schwache Studien sollten das Ergebnis einer Metaanalyse weniger stark bestimmen (verzerren) als methodisch ``saubere'' Studien. In diesem Fall bieten sich zumindest zwei Lösungen an, (i) das Benutzen von Ausschlußkriterien oder (ii) die Einführung einer Moderatorvariablen, anhand derer die Studien nach ihrer methodischen Qualität kodiert werden (was eine getrennte Analyse ermöglicht, falls die Effekte für die Subgruppen sehr unterschiedlich sind). Das ``Abhängigkeits-Problem'' entsteht, wenn mehrere, nicht aus unabhängigen Stichproben gewonnene Effektgrößen pro Studie in die Analyse eingehen. Vor allem, wenn eine einzelne Studie viele Effektgrößen beisteuert, kann die durchschnittliche Effektgröße, das Hauptergebnis der Metaanalyse, stark verzerrt sein. Die Beschränkung auf eine Effektgröße pro Studie kann manchmal das Problem lösen. Das ``Äpfel und Birnen''-Problem kann sowohl für unabhängige als auch für abhängige Variablen auftreten. Die Analyse einer undifferenzierten Sammlung von Studien zu einem Thema kann zur Nicht-Interpretierbarkeit der resultierenden mittleren Effektgröße führen. Eine Abhilfe bietet die Einteilung in Subgruppen anhand einer oder mehrerer unabhängiger Variablen (z.B. Geschlecht). Gänzlich uninterpretierbar kann das Ergebnis einer Metaanalyse sein, wenn mehrere sehr unterschiedliche abhängige Variablen (z.B. Fremdrating und Lautes-Denken Protokolle) in die Analyse eingehen. In solchen Fällen dürften nach abhängigen Variablen getrennte Analysen der einzige Ausweg sein.

Eine Metaanalyse ist besser als die ``Signifikanz-Zähl'' Methode, sie ist aber, wie alle hier besprochenen Verfahren, kein automatisches Datenanalyseinstrument. Es gibt sicher Fälle in denen es keinen Sinn macht, eine Metaanalyse durchzuführen. Generell wird das Ergebnis einer Metaanalyse um so befriedigender sein, je präziser die in ihr verfolgte Fragestellung war. Die Bewertung des Ergebnisses wiederum hängt von einer profunden Kenntnis des analysierten inhaltlichen Bereichs ab.



Methods of Psychological Research 1996, Vol.1, No.4
© 1997 Pabst Science Publishers