Journal Impact-Faktor: zur wissenschaftlichen Qualitätsbewertung ungeeignet

Seit den 1960er-Jahren wird vom Institute for Scientific Information (ISI) aus der Artikeldatenbank Science Citation Index (für Medizin, Technik und Naturwissenschaften) der Journal Impact Factor (JIF) berechnet. Er setzt die auf eine Zeitschrift entfallenden Zitierungen mit der Menge der aus ihr publizierten Artikel innerhalb von 2 Jahren ins Verhältnis, und wird dabei nicht nur zur Einordnung von wissenschaftlichen Zeitschriften, sondern auch in der Bewertung von Wissenschaftlern und/oder deren Institutionen eingesetzt. Der Impact-Faktor wird daher in vielen Fakultäten als wesentlicher Parameter für die sog. Leistungsorientierte Mittelvergabe herangezogen.

In den letzten Jahren wächst jedoch zunehmend die Kritik am Impact-Faktor als Qualitätsparameter wissenschaftlicher Leistung mit Feststellung folgender Negativfaktoren [2], [3]:

• kommerzieller Bias: nur die beim Science Citation Index gelisteten Journale werden in die Berechnung der Zitation mit aufgenommen; dabei werden die Datensets von Firmen mit kommerziellen und primär nicht akademischen Interessen verwaltet (Thomson Reuters, Elsevier)

• Englisch-Bias: aufgrund der größeren Verbreitung englischsprachiger Zeitschriften ist die Zitationschance bei englischsprachiger Publikation deutlich höher, dies ist jedoch nicht mit besserer Qualität gleichzusetzen

• Manipulierbarkeit: eine hohe Selbstzitierungsrate bei gleichzeitig geringer Artikelzahl in der betreffenden Zeitschrift führt zu hohem JIF

• Nichtberücksichtigung von Büchern und Buchbeiträgen

• Zählung von Editorials, Correspondence Letters, Conference Proceedings und Short Communications „im Zähler als Zitat“, nicht jedoch als „Artikel“ im Nenner; damit werden Zeitschriften mit einer größeren Anzahl solcher Beiträge einen höheren JIF generieren

• hochqualitative Publikationen, die mehr als 2 Jahre zurückliegen, oder auch schon im Erscheinungsjahr zitiert werden, bleiben unberücksichtigt

• Journals zu Spezialgebieten mit „kleiner Forschungscommunity“ können keinen hohen Index erreichen, weil die Zitierrate aufgrund der geringeren Grundgesamtheit verkleinert ist

Unter Berücksichtigung dieser „Mängelliste“ haben sich initiiert von der American Society for Cell Biology (ASCB) eine Vielzahl von ForscherInnnen und Wissenschaftliche Verlage im Dezember 2012 in San Francisco getroffen und eine Deklaration zur Evaluierung von Forschung ausgearbeitet. Diese Initiative aufgreifend hat auch die AWMF (Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e. V.) ein Positionspapier verfasst, wie zukünftig medizinische Forschungsleistung evaluiert und nachhaltig bewertet werden soll [4]: Als wichtigster Parameter der Evaluation wissenschaftlichen Arbeitens ist die Bedeutung der Forschungsleistung für die Weiterentwicklung der Medizin bzw. eines spezifischen Fachgebietes anzusehen. Da der JIF aus oben genannten Gründen dafür kein valides Instrument ist, soll er künftig durch besser geeignete Indikatoren, u. a. adäquat normierte Zitationsraten, ersetzt werden. Dabei sollen sowohl Feldtyp- als auch Artikeltyp-normierte bibliometrische Analysen zugrunde gelegt werden [1].

Bei der Feldtyp-normierten Zitationsrate wird die Zitierung einzelner Artikel standardisiert dem jeweiligen Fachgebiet der Zeitschrift, in der der Artikel erscheint, zugeordnet. Dadurch wird vor allem die unterschiedliche Publikations- und Zitationskultur verschiedener Fachgebiete ausgeglichen. Bei der Artikeltyp-normierten Zitationsrate werden Originalarbeiten, Übersichten und Leserbriefe separat gewertet. Dadurch werden Artikel mit vergleichbar methodischem Ansatz zueinander in Relation gesetzt.

Aus Sicht der Herausgeber der Zeitschrift für Orthopädie und Unfallchirurgie ist dieser Weg zur „neuen“ Qualitätsbewertung von wissenschaftlichen Publikationen nur zu begrüßen. Sicherlich ist die Bewertung einzelner wissenschaftlich tätiger Personen wie auch von Arbeitsgruppen und Institutionen auch künftig eine mehrdimensionale Aufgabe, wie von der AWMF gefordert [4]. In der Praxis bleibt jedoch die vergleichende Bewertung von Veröffentlichungen in Fachzeitschriften ein ganz wichtiger Parameter. Mit dem Ansatz der „adäquat normierten Zitationsraten“ wird es daher noch interessanter als bisher sein, in unserer Zeitschrift zu publizieren. Wir freuen uns darauf.

Ihre D. C. Wirtz, U. Stöckle

D. C. Wirtz

U. Stöckle

• Literatur

• 1 Alberts B. Impact factors distorsions. Science 2013; 340 (6134) 787
• 2 Baethge C. Nicht perfekter Impact-Faktor. Deutsches Ärzteblatt 2012; 15: 267-269
• 3 Harzing AW. The Publish or Perish Book: Your Guide to Effective and Responsible Citation Analysis. Melbourne: Tarma Software Research Pty Ltd.; 2010
• 4 Herrmann-Lingen C, Brunner E, Hildenbrand S et al. AWMF-Positionspapier zur Evaluation der medizinischen Forschungsleistung. GMS German Medical Science 2014; 12: 1-18