Metaanalysen zur Psychopharmakotherapie: Garbage in – Garbage out?

Dr. Dr. Stefan Weinmann

Wer Metaanalysen zu wichtigen Themen der medikamentösen Behandlung in der Psychiatrie macht, hat keine geringe Chance, diese auch gut publiziert zu bekommen. Große Zeitschriften nehmen sie seit den 90er-Jahren gerne auf, da davon ausgegangen wird, dass Metaanalysen im besten Fall klinische Expertise mit quantitativen Ergebnissen kombinieren und damit das Fachgebiet bereichern. Sie werden immer und immer wieder zitiert – oft als stärkster oder definitiver Nachweis der Wirksamkeit, Überlegenheit oder Unterlegenheit eines Medikamentes oder einer Medikamentengruppe. Mittlerweile erlernen immer mehr Forscher das Handwerk der Metaanalyse und führen diese auch für alle möglichen Fragestellungen durch, weil sie mit einer Publikation in einem High-rank-Journal rechnen. Es ist mittlerweile wenig strittig, dass Metaanalysen für einige Bereiche der Medizin überzeugende und vertrauenswürdige Aussagen liefern [1]. Sie gehen aber weiterhin pauschal als höchste Form der Evidenz in Leitlinien ein [2], ohne dass (im Unterschied zu den Primärstudien) die Qualität der Metaanalyse und die Frage nach deren Notwendigkeit und Aussagekraft ausreichend Berücksichtigung findet.

Ergebnisse von Metaanalysen befriedigen das Bedürfnis nach griffigen Zahlen und klaren Aussagen auf der Basis einer vorab definierten Methodik, die international akzeptiert ist und wenig Raum für Manipulation und Verfälschung lässt. Es wird oft argumentiert, dass dem Kliniker oft gar nichts anders übrig bleibt als methodisch hochwertige Informationssynthesen in Form von Metaanalysen von Studien für seine Therapieentscheidung heranzuziehen [3]. Hierbei werden Metaanalysen gelegentlich mit systematischen Reviews gleichgesetzt oder gar systematische Reviews fälschlicherweise als die methodisch am weitesten entwickelte Form narrativer Übersichtsarbeiten betrachtet [4]. Tatsächlich machen Metaanalysen nur auf der Basis einer systematischen Literaturrecherche und a priori festgelegter Bewertungsstrategie auf der Basis eines Protokolls Sinn [5]. Denn besonders die quantitative und statistisch elaborierte Synthese der Ergebnisse von Einzelstudien zu einem einzelnen Effektmaß ist von der Auswahl der eingeschlossenen Studien und der Wahl der Ergebnisparameter abhängig.

Die Vorteile der Metaanalyse in der Psychopharmakotherapie sind aber meist zugleich ihre Nachteile – und mittlerweile haben sich zwei Lager pro und kontra Metaanalysen gebildet, welche die Diskussion zum Stellenwert medikamentöser Behandlung in der Psychiatrie dominieren, uns aber wichtige Aspekte aus dem Auge verlieren lassen. Einige seien hier genannt.

Die Technik der Metaanalysen wurde ursprünglich von Psychologen entwickelt, um eine Synthese von verschiedenen, aber ähnlichen Experimenten zu ermöglichen und einfache Empfehlungen auf der Basis einer heterogenen Sammlung von Einzelergebnissen abzuleiten. Das primäre Ziel der Metaanalyse ist es, im Falle des Vorliegens mehrerer Studien mit kleinerer Patientenzahl deren Einzelergebnisse zu poolen, um eine größere statistische Power zu bekommen. Die Metaanalyse ist daher ein Behelfsinstrument, wenn große methodisch hochwertige Studien mit eindeutigen Ergebnissen fehlen und ist letzteren nur in solchen Fällen vorzuziehen. Die Ergebnisse kleinerer Studien werden so zusammengefasst, als ob sie im Rahmen einer einzigen großen Studie aufgetreten wären. Denn kleinere Studien sind besonders dem Spiel des Zufalls ausgesetzt. Es wird allgemein angenommen, dass diese insbesondere anfällig sind für falsch negative Ergebnisse [6]. Je kleiner der Unterschied zwischen zwei Therapieoptionen, desto größer müsste die Studie sein, um einen solchen nachzuweisen. Extrem große Studien sind daher notwendig zur Entdeckung eines Wirksamkeitsunterschiedes zwischen zwei Antidepressiva [7]. Es wird daher angenommen, dass Metaanalysen mehrerer kleinerer Studien die Wirksamkeit von Interventionen aufdecken können, die durch die falsch negativen Ergebnisse der kleinen Studien „verhüllt” waren. Es wird weiter angenommen, dass falsch positive Ergebnisse wahrscheinlicher sind, wenn eine große Zahl von kleineren Studien ein wirkungsloses Medikament testet (und womöglich nur die mit Positivergebnissen publiziert werden). Wenn alles zufallsbedingt wäre, ein Medikament eine definierte Effektstärke hätte und alle durchgeführten Studien verfügbar wären, könnten Metaanalysen diesen wahren Effekt darstellen. Sie können Zufallseffekte hervorragend ausgleichen – aber nicht systematische Fehler.

Und es ist nicht alles zufallsmäßig. Viele Biostatistiker hofften, dass Metaanalysen eindeutige Methoden objektiver Interpretation von Daten liefern könnten. Diese Hoffnung hat sich bisher in der Psychopharmakotherapie nicht erfüllt. Vielmehr gibt es immer mehr Metaanalysen, die divergente Ergebnisse erbringen, weil sie auf unterschiedlichen Studien(einschlüssen) beruhen, andere statistische Methoden verwenden, Studien, die ganz unterschiedlich sind, gleich oder nicht gleich behandeln oder gar ausschließen, und weil schlussendlich die Statistik aus inadäquaten Daten keine adäquate Synthese machen kann. So können Metaanalysen nicht besser sein als die Güte der qualitativ besten Primärstudien. Und bezüglich der Studienqualität bei Medikamentenstudien in der Psychiatrie sind in den letzten Jahren doch erhebliche Zweifel aufgetreten, die sicherlich ihre Berechtigung haben [8] [9]. Genau dieses Problem wird mit dem Begriff „garbage in – garbage out” bezeichnet: Metaanalysen können zwar manchmal auf die unzureichende Datenqualität hinweisen, diesen Daten aber auch einen objektiven Touch geben – und Kliniker und Entscheidungsträger zu einfachen Schlussfolgerungen verleiten.

Einerseits ist in der Psychopharmakotherapie aufgrund der kleinen Stichprobengrößen der Bedarf an guten Metaanalysen groß (eine Untersuchung von 1941 Studien zur Schizophrenie zeigte beispielsweise, dass nur 3 % groß genug waren, um einen bedeutenden Unterschied zwischen den Interventionen zu zeigen [10]); andererseits ist das Risiko für Verfälschungen hier besonders groß.

Literatur

• 1 Smith G D. Meta-Analysis. Potentials and promise.  BMJ. 1997;  315 (7119) 1371-1374
• 2 Harbour R, Miller J. A new system for grading recommendations in evidence based guidelines.  BMJ. 2001;  323 (7308) 334-336
• 3 Komossa K, Kissling W, Leucht S. et al . Therapieentscheidung aufgrund von Metaanalysen.  Psychiat Prax. 2008;  35 (8) 373-375
• 4 Maier W, Möller H J. Metaanalysen: Methoden zur Evidenzmaximierung von Therapiestudien?.  Nervenarzt. 2007;  78 (9) 1028-1036
• 5 Egger M, Smith G D, Sterne J A. Uses and abuses of meta-analysis.  Clin Med. 2001;  1 (6) 478-484
• 6 Freiman J A, Chalmers T C, Smith Jr H. The importance of beta, the type II error and sample size in the design and interpretation of the randomized control trial. Survey of 71 „negative” trials.  N Engl J Med. 1978;  299 (13) 690-694