gms | German Medical Science

GMS Zeitschrift zur Förderung der Qualitätssicherung in medizinischen Laboratorien

Gesellschaft zur Förderung der Qualitätssicherung in medizinischen Laboratorien e. V. (INSTAND e. V.)

ISSN 1869-4241

Journal Impact Factor – ein Qualitätskriterium für Zeitschriften und für Wissenschaftler?

Übersichtsarbeit

Search Medline for

GMS Z Forder Qualitatssich Med Lab 2009;1:Doc02

DOI: 10.3205/lab000002, URN: urn:nbn:de:0183-lab0000024

Published: October 20, 2009

© 2009 Reinauer.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Entstehung des Journal Impact Factors

Die Wissenschaftsgemeinschaft war von jeher bemüht, einen objektiven Wertmaßstab für die wissenschaftlichen Leistungen von Instituten und/oder einzelnen Wissenschaftlern zu finden. Zurückliegende Beurteilungen und Begutachtungen im akademischen Bereich wurden bisweilen kontrovers diskutiert. Eine objektive Qualitätssicherung der Begutachtungen von beantragten Projekten, Beförderungen und Institutionen erschien wünschenswert, ein Qualitätsmanagementsystem fehlte. Die Begutachtung von wissenschaftlichen Projekten und wissenschaftlichen Publikationen kann nicht standardisiert werden, ein subjektiver Anteil bei der Beurteilung erscheint unvermeidbar. Auch die Gewinnung geeigneter neutraler Gutachter, die ausreichend Zeit und spezifische Kenntnisse haben, ein Peer-Review-Verfahren durchführen, ist oft schwierig.

Der neue geschaffene Journal Impact Factor (Abbildung 1 [Abb. 1]) erschien als ein neues und objektives Kriterium, das konventionelle Beurteilungsverfahren erleichtern, verbessern oder gar ersetzen könnte. Dabei ging man davon aus, dass Entscheidungen auf der Basis des Journal Impact Factors eine leicht verfügbare, anonyme und neutrale Beurteilung erlaubt.

Die Heranziehung des Journal Impact Factors als ein zusätzliches Entscheidungskriterium ist in den letzten Jahren vermehrt worden, weil die leistungsorientierte Mittelvergabe (LOM) in den Hochschulen sich auch an vorausgegangenen wissenschaftlichen Publikationen orientiert. Eine Umfrage bei den Medizinischen Fakultäten ergab, dass etwa 2/3 der Medizinischen Fakultäten den Journal Impact Factor als eines der Kriterien bei der Verteilung von Forschungsmitteln heranziehen. Bei Habilitationen und bei Berufungsverfahren wird vor allem auf die wissenschaftliche Publikationsleistung in „angesehenen“ Zeitschriften abgestellt.

Sowohl bei der Beurteilung von Forschungsanträgen als auch von Publikationen in Zeitschriften mit Begutachtersystemen ist das Peer-Review-Verfahren als unentbehrliches Beurteilungskriterium vorgesehen. Dieses Peer-Review-Verfahren gilt immer noch als der „Goldene Standard“ und wird allgemein anerkannt. Zaghafte Versuche, dieses Begutachterverfahren kritisch zu durchleuchten, d.h. einer Qualitätssicherung zu unterwerfen, sind bisher wenig beachtet, jedenfalls nicht realisiert worden. Eine Evaluation des Peer-Review-Verfahrens bei Zeitschriften hatte vor einigen Jahren Daniel [1] in einer Monographie mit dem Titel „Guardians of Science: Fairness and Reliability of Peer Review“ versucht. In diesem Buch wird unter anderem berichtet, dass im British Medical Journal, einer medizinischen Zeitschrift von anerkannter Qualität, von 1551 eingereichten Manuskripten 79% abgelehnt worden sind (Abbildung 2 [Abb. 2]). Von diesen abgelehnten Manuskripten wurden 836 in anderen Zeitschriften publiziert, 130 sogar in Zeitschriften mit höherem oder gleichem Journal Impact Factor. Hieraus könnte man schließen, dass die Fehlerquote beim Peer-Review-Verfahren dieser Zeitschrift bei etwa 16% lag. Ähnliche Analysen liegen auch für andere Zeitschriften vor (Abbildung 2 [Abb. 2]).

Eine Nachfrage nach Unterlagen oder Publikationen der Deutschen Forschungsgemeinschaft bezüglich Evaluation und Qualitätssicherung der Begutachtungsverfahren von Einzelanträgen hatte zu keinem Ergebnis geführt, obgleich aus diesen Daten wichtige Erkenntnisse zur weiteren Verbesserung des Peer-Review-Verfahrens gewonnen werden könnten. Seit 2005 ist bei der DFG ein „Institut für Forschungsinformation und Qualitätssicherung (IFQ)“ eingerichtet worden mit folgenden Zielen:

  • „die dauerhafte Beobachtung und Evaluation ihrer Förderaktivitäten
  • die Analyse allgemeiner Entwicklungen in der nationalen und internationalen Forschung
  • Information über die Ergebnisse DFG-geförderter Forschung
  • Aufbau und Vernetzung von Informationsressourcen“ [2].

Das Peer-Review-Verfahren soll nicht zum Mittelpunkt der Betrachtungen gemacht werden, aber hervorzuheben ist, dass die Beurteilung einer wissenschaftlichen Publikation bzw. die Annahme eines Manuskripts in eine wissenschaftliche Zeitschrift mit Fehlern behaftet sein kann, wobei auch grobe Täuschungsversuche übersehen worden sind.

Aus dem Bedürfnis nach einem objektiven Maßstab, vielleicht auch aus Scheu vor persönlichen Stellungnahmen, hat der von Eugene Garfield eingerichtete Journal Impact Factor eine breite Anwendung bei der Evaluation von wissenschaftlichen Leistungen erlangt. Die Entstehungsgeschichte des Journal Impact Factors ist relativ kurz (Abbildung 3 [Abb. 3]):

Das Institute for Scientific Information (ISI) war 1958 gegründet worden und gab dien sogenannten „Current Contents“ heraus, die alle sehr geschätzt haben und bis heute noch schätzen. 1961 wurde der Science Citation Index eingerichtet, der die Häufigkeiten der Zitate eines Autors sammelt. Schließlich kam der Journal Citation Report heraus, aus dem der Journal Impact Factor abgeleitet wurde (1963). Diesem Journal Impact Factor vertrauen nun die Fakultäten und die DFG, da die dort publizierten Arbeiten einem Begutachtersystem unterworfen sind und sich eine Art Hierarchie bezüglich Journal Impact Factor in der Reihe von wissenschaftlichen Zeitschriften ergeben hatte.

Eigentümlicherweise warnte Eugene Garfield schon sehr früh vor dem Einsatz des Journal Impact Factors für die Beurteilung eines Wissenschaftlers [3], [4], [5], [6], [7]. Aber diese Warnung wurde und wird nicht befolgt. Der Journal Impact Factor (übersetzt: Einflussfaktor der Zeitschrift) trat seinen Siegeszug an und ist nicht mehr in seine auch von Garfield gedachten Schranken zu weisen, nämlich ein Maßstab für die Akzeptanz und Bedeutung einer Zeitschrift zu sein. Dementsprechend hat sich die Terminologie vereinfacht: Man spricht leider nur noch vom „Impact factor“.


Berechnung des JIF

Der Journal Impact Factor gibt an, welche durchschnittliche Zitierungsrate zurückliegende Artikel einer Zeitschrift in einem bestimmten Jahr in den „source journals“ erzielt haben. Wie wird nun der Journal Impact Factor (JIF) errechnet [3], [5]? Er wird aus den Daten des Institute for Scientific Information errechnet. Das Eigentümliche an diesem Berechnungsverfahren ist, dass die publizierten Arbeiten aus zwei zurückliegenden Jahren mit der Zahl der Zitate in dem folgenden (gemessenen) Jahr in Verhältnis gesetzt werden (Abbildung 4 [Abb. 4]), zum Beispiel New England Journal of Medicine: Zahl der Artikel in 1996 und 1997 = 4597, Zitierhäufigkeit im Jahr 1998 = 103.000. Daraus resultiert ein Journal Impact Factor von 22,41. Zeitschriften, die mit breiten Themen in der Grundlagenforschung angelegt sind, haben hohe Journal Impact Factoren, z. B. Cell mit 40,481 und die sogenannten Annual Reviews, z. B. Annual Review of Biochemistry mit 44,4.

In 1996 lag an der Spitze der Journal Impact Factoren die Zeitschrift „Clincial Research“ mit einem Journal Impact Factor von 51,0; Nature hatte einen Journal Impact Factor von 28,4 und Science von 23,6.

Was beeinflusst den Journal Impact Factor? Warum ist der Journal Impact Factor in einer Zeitschrift hoch, in anderen niedrig? Sind die eingereichten Manuskripte besser, die Gutachter in bestimmten Zeitschriften gründlicher und kritischer? Ist die Aufmachung der Zeitschrift besser? Zu diesen Fragen sind mehrere Publikationen erschienen [6], [7], [8].

Ohne Zweifel beeinflusst die Fachdisziplin den Journal Impact Factor. Je größer eine Fachgesellschaft ist, die in einer bestimmten wissenschaftlichen Zeitschrift ihre Forschungsergebnisse publiziert und diese Artikel auch liest, desto höher ist der Journal Impact Factor. Hohe Journal Impact Factoren finden wir auch in breit angelegten, eher interdisziplinären Zeitschriften wie Nature, Science, Cell usw., die eine hohe Zahl von Manuskripten erhalten. Hohe Journal Impact Factoren haben unter anderem langjährig etablierte, englisch-sprachige Zeitschriften, die in der Regel auch die „source journals“ sind.

Das Design der Zeitschrift kann eine Rolle spielen. Es gibt zur Zeit in der Molekularbiologie sehr hohe Journal Impact Factoren, weil mit den neuen molekularbiologischen Methoden neue Erkenntnisse erschlossen wurden. Geschickte Verlage koppeln Review-Artikel mit Originalarbeiten und verbessern auf diese Weise die Zahl der Leser und die Zahl der Zitate, z. B. Diabetes. Schließlich ist die Auflagenzahl und die Verbreitung der Zeitschrift wichtig, damit ein hoher Journal Impact Factor entsteht.


Bedeutung des JIF

Der Journal Impact Factor erscheint sinnvoll, wenn er dazu dient, einen Überblick im wissenschaftlichen Publikationswesen zu vermitteln. Es ist für die Verlage und für die Bibliotheken von erheblichem Interesse, wie oft eine Zeitschrift aufgelegt, abonniert, gelesen und zitiert wird, wie stark ihre Verbreitung national und international ist. Er sagt aber wenig über die Qualität des einzelnen Artikels aus.

Der Journal Impact Factor spielt neuerdings eine Rolle bei der Frage, welche Zeitschriften in den Universitätsbibliotheken aufgrund begrenzter Haushaltsmittel abbestellt werden sollen.

Der Journal Impact Factor ist von großer wirtschaftlicher Bedeutung für die Verlage. Hohe Journal Impact Factors ziehen sehr viele Manuskripte an, die Zahl der Abonnements und der Umfang der Inserate steigt. Ein einmal eingerichteter hoher Journal Impact Factor garantiert dem Verlag finanziellen Erfolg auch in den Folgejahren.

Zusammengefasst vermittelt der Journal Impact Factor durchaus wichtige Informationen für Verlage und Bibliotheken.


Kritik des JIF

Der Journal Impact Factor (JIF) wird aber anders genutzt als ursprünglich gedacht [3], [6], [8]. Er wird die verlegerische Reputation der Zeitschrift und deren Zitationsfrequenz ausnahmslos auf die Autoren übertragen (Abbildung 5 [Abb. 5]). Dabei ist der Journal Impact Factor kein Garant für die Qualität der Forschungsergebnisse und auch nicht für die Qualität der abgedruckten Artikel. Hierzu lassen sich gute Beispiele finden.

Die Bedeutung des Journal Impact Factors hat auch zu veränderten Zitationenverhalten geführt, z.B. zu Selbstzitaten und Zitationsgemeinschaften.

Die Kritiken am Journal Impact Factor sind zahlreich. Mit den aufgeführten sechs Punkten der Abbildung 6 [Abb. 6] wird die Kritik nicht erschöpfend dargestellt [8], [9]. Eine häufige Kritik gilt der Auswahl der Source Journals, die nach einem nicht nachvollziehbaren Verfahren ausgewählt werden. Etwa 6000 wissenschaftliche Zeitschriften gehören in der Medizin zu dieser Gruppe, die Auswahlkriterien waren anfangs subjektiv. In diesen Zeitschriften werden die Zitationsfrequenzen gezählt.

Die englische Sprache gilt als Sprache der Wissenschaft, die englischsprachigen Zeitschriften erzielen beim Journal Impact Factor hohe Quoten. Es stellt sich allerdings die Frage, ob die nationalen Sprachen in den wissenschaftlichen Zeitschriften aufgegeben werden müssen und unsere Publikationen grundsätzlich in englischer Sprache abzufassen sind, was bisweilen auch stilistische Probleme schafft.

Die Zeiträume, in denen die Zitationen gezählt und in Verhältnis gesetzt werden zu vorausgegangenen Publikationen, sind willkürlich. Langzeiteffekte von Publikationen werden natürlich nicht erfasst. Auch das aktuelle Niveau einer Zeitschrift wird durch den Journal Impact Factor nicht abgebildet, die Berechnungen sind mittelfristig und rückwärtsgewandt.

Der große Nachteil und der entstehende Schaden trifft die nationalen Zeitschriften [7], [9]. Nationale wissenschaftliche Zeitschriften werden in der Regel nicht in MEDLINE gelistet und gehören nicht zu den „source journals“. Ihre Journal Impact Factoren sind in der Evaluation bedeutungslos.

Die Auswirkungen des Journal Impact Factors sind offensichtlich: Die generelle Tendenz ist, wissenschaftliche Publikationen in englischer Sprache und in Zeitschriften mit hohen Journal Impact Factoren zu publizieren. Junge Wissenschaftler reisen in die USA nicht nur wegen der Forschungsmethoden, sondern auch wegen der sprach-lichen Qualifikation und um in die aktiven Arbeitsgruppen hineinzukommen. Die Manuskripte der einzelnen Wissenschaftler, insbesondere der jungen, durchlaufen häufig die „Journal Impact Factor-Hierarchie“ von oben nach unten unter hohem Zeitverlust.

Die größten Bedenken sind, dass nationale Zeitschriften keine Zukunft haben. Darum besteht die kontroverse Diskussion zu den Fragen: Muss die Wissenschaftssprache grundsätzlich Englisch sein, die Publikation ausschließlich in englischer Sprache erfolgen? Wie soll die Aus-, Fort- und Weiterbildung erfolgen? Soll die Patientenversorgung in anderer Sprache als das wissenschaftliche Denken und Formulieren erfolgen?

Es wird auch dem akademischen Qualifikationssystem nicht gerecht, wenn, wie jüngst in einer Fakultät geschehen, der Habilitand mit gesammelten 21,2 Journal Impact Factoren zur Habilitation empfohlen wird. Auch ISI ist dagegen, dass der Journal Impact Factor dasn traditionelle Peer-Review-System bei Personalbeurteilungen ersetzen soll. Hier muss man Eugene Garfield zitieren, der immer wieder betont: „The Impact Factor is not appropriate to evaluate the single scientist“ (Abbildung 7 [Abb. 7]).


JIF und die AWMF

Natürlich hat die Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF) sich mit dem Journal Impact Factor beschäftigt, und es gab auch hier kontroverse Diskussionen. Ein Teil der Fachgesellschaften wollte den Journal Impact Factor beseitigt sehen bzw. bei Evaluierungsverfahren nicht berücksichtigen, andere waren gegen diesen Vorschlag. Schließlich ist ein Kompromiss zustande gekommen: Die Journal Impact Factoren sind fächerspezifisch zu wichten, d.h. jedes Fachgebiet errechnet aus den 10 wichtigsten Zeitschriften einen mittleren Journal Impact Factor (Abbildung 8 [Abb. 8]). Der Journal Impact Factor der deutschsprachigen Zeitschriften, die im Science Citation Index gelistet sind, soll verdoppelt werden. Zeitschriften, die nicht im Science Citation Index gelistet sind, bekommen einen Journal Impact Factor von 0,2. Weiterhin wurde gefordert, dass Review-Artikel nicht bewertet werden sollen.

Die AWMF gibt seither jährlich für jedes Fachgebiet einen mittleren Journal Impact Factor heraus. Diese mittleren fachspezifischen Journal Impact Factoren werden von mehreren Fakultäten bei LOM verwendet.

Zusammengefasst ist festzustellen, dass der Journal Impact Factor innerhalb der Medizinischen Fakultäten und auch in den wissenschaftlichen Fachgesellschaften überbewertet wird. Er hat nicht die Rolle gefunden, die ihm eigentlich auch vom Gründer zugedacht wurde: Der Journal Impact Factor zählt die Zitationshäufigkeit einer Zeitschrift und setzt sie in Beziehung zu zurückliegenden publizierten Artikeln. Er soll und kann daher keine alleinige Grundlage für die Beurteilung von wissenschaftlichen Leistungen sein. Er sollte das bleiben, wofür er geschaffen worden ist: Ein Journal Impact Factor.


Literatur

1.
Daniel HD. Guardians of Science: Fairness and Reliability of Peer Review. Weinheim: Verlag Chemie; 1993.
2.
DFG. Pressemitteilung Nr. 38 vom 6.7.2005: Stefan Hornbostel übernimmt Leitung des Instituts für Forschungsinformation und Qualitätssicherung (IFQ): Arbeitsaufnahme im Herbst 2005. DFG: DFG-Mitteilungen; 2005. Available from: http://www.dfg.de/aktuelles_presse/pressemitteilungen/2005/presse_2005_38.html External link
3.
Garfield E. Der Impact Factor und seine richtige Anwendung. Anaesthesist. 1998;47(6):439-41. DOI: 10.1007/s001010050581 External link
4.
Garfield E. How can impact factors be improved? BMJ. 1996;313(7054):411-3.
5.
Garfield E. The history and meaning of the journal impact factor. JAMA. 2006;295(1):90-3. DOI: 10.1001/jama.295.1.90 External link
6.
Seglen PO. Why the impact factor of journals should not be used for evaluating research. BMJ. 1997;314(7079):498-502.
7.
Whitehouse GH. Citation rates and inpact factors: should they matter? Br J Radiol. 2001;74(877):1-3.
8.
Gallagher EJ, Barnaby DP. Evidence of methodologic bias in the derivation of the Science Citation Index impact factor. Ann Emerg Med. 1998;31(1):83-6. DOI: 10.1016/S0196-0644(98)70286-0 External link
9.
Herfarth C, Schürmann G. Deutsche klinische Zeitschriften und der Impact Factor. Chirurg. 1996;67(4):297-9.
10.
Meenen NM. Der Impact Factor – ein zuverlässiger scientometrischer Parameter? Unfallchirurgie. 1997;23(4):128-34. DOI: 10.1007/BF02630217 External link
11.
European Association of Science Editors. EASE statement on inappropriate use of impact factors. European Science Editing. 2007;33(4):99-100.
12.
Nemery B. What happens to the manuscripts that have not been accepted for publication in Occupational and Environmental Medicine? Occup Environ Med. 2001;58(9):604-7. DOI: 10.1136/oem.58.9.604 External link