Peer Review behindert den wissenschaftlichen Fortschritt – Pro

Peer Review bedeutet die Begutachtung eines Forschungsberichtes oder eines Antrags durch ‚Peers‘, d. h. andere Wissenschaftler mit einer Expertise im gleichen Gebiet, die aber unabhängig sind und nicht durch Verbindungen mit den Autoren oder Antragstellern oder deren Institutionen in einen Interessenkonflikt geraten. Wie kann so eine gute Idee den Fortschritt behindern? Sie spielt bei zwei Prozessen eine Rolle, beim Publizieren von Forschungsergebnissen und bei der Vergabe von Drittmitteln. Die Probleme überschneiden sich zwar, sind aber doch unterschiedlich.

Zunächst zum Publizieren von Forschungsergebnissen, wo Peer Review als ein angeblicher Eckpfeiler der Qualitätssicherung hochgehalten wird. Die hochrangigen und einflussreichen Zeitschriften – wie etwa The Lancet – haben professionelle Herausgeber, die gemeinhin mindestens 90 % aller Einreichungen selbst ablehnen und nur diejenigen Arbeiten zur Peer Review herumschicken, die sie wirklich publizieren wollen. Wenn die Peer Reviewer dann schwerwiegende Mängel entdecken, wird das Manuskript nicht publiziert. In der Regel haben diese Zeitschriften für jedes Manuskript mehrere Reviewer, die sich selten vollkommen einig sind, und die letztliche Entscheidung liegt beim Herausgeber. Die Herausgeber prüfen Manuskripte in der Regel gut. Dennoch verhindert das System mit der Einbeziehung von Peer Reviewern nicht einmal in The Lancet die Publikation gefährlicher Fake News, die dann sogar zurückgezogen werden müssen [1]. Anders sieht die Sache bei Zeitschriften mit geringerer Reputation aus, deren Zahl in den letzten Jahren rapide zugenommen hat. Diese Zeitschriften haben zumeist keine professionellen Herausgeber, die sich intensiv mit den eingereichten Manuskripten beschäftigen können. Sie sind auf Peer Reviewer angewiesen, haben aber große und zunehmende Schwierigkeiten, geeignete Peer-Reviewer zu finden. Wissenschaftler – wie ich selbst – erhalten bis zu sieben Anfragen für Reviews pro Tag, die wir natürlich fast alle ablehnen müssen. Da es in den meisten Forschungsgebieten keine riesige Zahl an echten Peer-Experten gibt (und erst recht nicht an Experten ohne jede Verbindung mit irgendeinem der Autoren), suchen und akzeptieren diese Zeitschriften dann notgedrungen Reviewer, die kaum über eine echte Expertise verfügen und von der Sache wenig verstehen. Im Interesse des Geschäftsmodells der Wissenschaftsverlage wird der Schein echter Peer Reviews aufrechterhalten, was aber zur Farce geworden ist und letztendlich auch nicht die Publikation irgendeines Forschungsberichts verhindert. Wer die Regeln des Publikationsgeschäfts kennt und genug Zeit und Geld investiert, wird am Ende jedes Manuskripts irgendwo publizieren können. Schließlich leben immer mehr Wissenschaftsverlage von den Gebühren, die Autoren für die Open-access-Publikationen ihrer eigenen Arbeiten bezahlen [2].

Da das ganze System nicht nur dysfunktional, sondern auch langsam ist, etablieren sich bereits Alternativen – nicht nur in der Rolle professioneller Herausgeber. Längst werden viele Manuskripte als sogenannte pre-prints veröffentlicht, also bevor irgendein Reviewer sie zu sehen bekommt, oder – in verschiedenen Wissenschaftsbereichen zunehmend üblich – in Archiven oder Repositorien ohne Peer Review zur Verfügung gestellt. Das geht viel schneller und erlaubt eine zeitnahe Diskussion, die dem wissenschaftlichen Fortschritt zugutekommt. Diese Praxis hat während der Pandemie sehr an Bedeutung gewonnen, weil die Notwendigkeit deutlich wurde, neue Ergebnisse allen Interessenten ohne Verzögerung zugänglich zu machen. Auch Pre-Print-Server können mit Mechanismen arbeiten, um schlechte Forschung auszusortieren und eine Art von Review durchzuführen, aber eben ohne die umständliche und zeitraubende Einbeziehung von Peers [3]. Es gibt noch mehr alternative Ansätze wie die Webseite des COVIDMINDS-Netzwerks, auf der verschiedene Forschungsgruppen Informationen und Studienergebnisse zur psychischen Gesundheit und COVID zeitnah und unmittelbar öffentlich zugänglich machen [4]. Zudem sollte es endlich Standard werden, dass bei wissenschaftlichen Arbeiten die Rohdaten selbst publiziert werden. Wenn jeder Wissenschaftler in der Welt selbst nachschauen kann, was die Daten wirklich aussagen, erübrigt sich zum Teil die Notwendigkeit, die Darstellung und Interpretation der Autoren langwierig durch Peers begutachten zu lassen. Auch das ist in einigen Wissenschaftsbereichen üblich, aber nicht in der Medizin, wo die Industrie – und andere – sich weigern (dürfen), ihre Rohdaten zur Überprüfung zur Verfügung zu stellen. Nicht einmal bei den nun wahrlich im öffentlichen Interesse stehenden Impfstudien, können wir die Rohdaten einsehen, nur die Daten, die den Zulassungsbehörden vorgelegt werden müssen.

Noch viel entscheidender als beim Publizieren ist die hinderliche Rolle der Peer Reviews bei der Vergabe der Drittmitteln. Wer forschen will, braucht dafür Geld und beantragt Drittmittel bei Forschungsförderern wie der Deutschen Forschungsgemeinschaft oder Europäischen Kommission. Diese senden die Anträge zu mehreren Peer Reviewern, die von dem spezifischen Bereich des Antrags vielleicht viel verstehen, oft aber auch nicht. Da nur ein Bruchteil der Anträge gefördert wird, kann schon eine einzige negative Review das Ende bedeuten. Ähnlich läuft es in den Gremien ab, die dann über die Anträge letztlich entscheiden. Wenn die Expertengremien sich treffen, um über die Anträge zu beraten, haben von 20 oder mehr Mitgliedern zumeist nur zwei oder drei den jeweiligen Antrag wirklich im Detail gelesen. Die übrigen Mitglieder des Gremiums müssen sich auf deren Meinung, die Reviews und eine kurze Diskussion verlassen. Dann wird abgestimmt und der Mittelwert der Bewertungen entscheidet über die Förderung jedes Antrags. Durch dieses Proedere werden nur solche Anträge positiv beschieden, die niemandem negativ aufstoßen. Dieser ganze Prozess ist – wenn er nicht durch Einflussnahmen hinter den Kulissen beeinflusst wird – durchaus fair. Aber fair ist auch das Lottospielen. Für den Fortschritt ist diese Mischung aus Zufall, Mittelwerten und Kompromissen auf dem kleinsten gemeinsamen Nenner sicher nicht förderlich. Wäre in einem solchen System Einstein gefördert worden, um die Relativitätstheorie zu entwickeln? Da hätte sich wahrscheinlich zumindest ein negativer Reviewer gefunden und Einsteins Antrag den Todesstoß versetzt. Die Relativitätstheorie war etwas wirklich Neues, das den meisten damaligen Experten unverständlich erschien. Dies führt zum nächsten Punkt: Warum sollten ausgerechnet die Experten, die in ihrem eigenen Forschungsleben keinen Durchbruch erzielt haben, die richtigen Personen sein, um die potenziellen Durchbrüche der Zukunft zu identifizieren? Etablierte Experten neigen verständlicherweise dazu, das für förderungswürdig zu halten, was etabliert ist. Und mit diesem System landen wir bei einer Forschungslandschaft, in der fast alle Institutionen ähnliche Mainstreamforschung verfolgen, in der es wenig Vielfalt gibt, und in der – trotz aller Lippenbekenntnisse – Innovationen und neue Ideen, die naturgemäß manch gegenwärtigem Experten abwegig erscheinen müssen, nur selten eine Förderung finden. Ein effektiveres Förderungssystem muss schneller (zur Zeit vergehen zwischen erstem Antrag und Förderungsbeginn ein Jahr oder viel mehr), flexibler und zielgerichteter sein, so wie manche reichen Universitäten in den USA ohne komplizierte Peer Review Prozesse Ideen eigener Forscher fördern können oder durch eine Art von Forschungs-Fundmanagern, die Geld und Entscheidungsfreiraum erhalten, um über einen längeren Zeitraum verschiedene neue Ansätze zu fördern.

Zusammenfassend: Peer Review mag eine gute Idee sein, aber sie funktioniert nicht und ist zu einem wesentlichen – wenn auch nicht dem einzigen – Hindernis des wissenschaftlichen Fortschritts geworden. Es ist Zeit, daraus zu lernen und neue, schnellere und effektivere Alternativen zur Entscheidung über Publikationen und – noch wichtiger – für die Vergabe von Drittmitteln weiterzuentwickeln und zu nutzen.

#