gms | German Medical Science

Hierauf hat die damalige Bibliometriekommission der AWMF bereits 1999 hingewiesen und mit der Entwicklung eines AWMF-Modells zur Evaluierung publizierter Forschungsbeiträge in der Medizin (Frömter et al. 1999) reagiert. Dieses Modell empfahl unter der Prämisse, dass die Verwendung des JIF vorerst de facto die Praxis der Forschungsevaluation bestimmen würde, eine Reihe von Adaptationen. Diese umfassten z.B. separate Gewichtungen von deutschsprachigen bzw. Buchpublikationen, von Coautorenschaften sowie der Impactfactoren der Publikationen unterschiedlicher Fächer. Die Empfehlungen der Kommission wurden auf der AWMF-Delegiertenkonferenz am 13.5.2000 verabschiedet und stehen seither auf der Website der AWMF (www.awmf.org/forschung-lehre/kommission-fl/forschungsevaluation/bibliometrie/impact-faktoren.html) zur Verfügung. Ergänzt wurden sie in jüngeren Jahren durch separate Empfehlungen zur Bewertung der Autorenschaft an systematischen Übersichtsarbeiten, Metaanalysen und Leitlinien (www.awmf.org/forschung-lehre/komm-evaluation-von-fl/leistungsevaluation-forschung/bibliometrie/reviews-metaanalysen-leitlinien.html). Dennoch setzte nach einer Untersuchung von Brähler und Strauß (2009) in der LOM noch 2008 die Mehrheit deutscher medizinischer Fakultäten reine, ungewichtete JIF zur Leistungsbewertung der Forschung ein.

Diese immer wieder kritisierte Praxis wird nun von einem Verbund internationaler Wissenschaftler und Wissenschaftsorganisationen erneut in Frage gestellt. In der von der American Society for Cell Biology initiierten San Francisco Declaration On Research Assessment (DORA; http://am.ascb.org/dora/) wandten sich initial 155 individuelle Wissenschaftler und 82 Herausgebergremien wissenschaftlicher Fachzeitschriften bzw. andere wissenschaftliche Organisationen gegen die Dominanz des JIF in der Bewertung wissenschaftlicher Leistungen. In begleitenden Editorials in renommierten Zeitschriften, u.a. in Science (Alberts 2013), wurde der „Missbrauch“ des Journal Impact Factors als „hochgradig schädlich“ kritisiert. Er ermutige Herausgeber von Zeitschriften, die erwartete Zitationsrate eines Beitrags höher zu gewichten als seinen wissenschaftlichen Wert und erzeuge damit ein Ungleichgewicht zugunsten zitierstarker Fachgebiete. Er verlocke zu Manipulationen, verschwende die Zeit von Forschern und Gutachtern und fördere eine „me-too“-Wissenschaft anstelle bahnbrechender aber riskanter Innovation. Automatische numerische Evaluationen von Individuen sollten daher zugunsten der Lektüre ausgewählter Arbeiten eliminiert werden.

Im Einzelnen macht die DORA folgende Vorschläge:

• Keine Nutzung von Journal-Metriken wie dem JIF als Qualitätsmaß zur Beurteilung die Qualität individueller Artikel oder ihrer Autoren bzw. deren Einstellung oder (Be-) Förderung
• Der wissenschaftliche Gehalt einer Arbeit ist wesentlich bedeutsamer als Publikationsmetriken oder Journal-Namen. Dies gilt besonders auch für NachwuchswissenschaftlerInnen
• Förderer und Institutionen sollen Kriterien zur Beurteilung der Leistungsfähigkeit von Antragstellern bzw. Bewerbern/Mitarbeitern explizit benennen und dabei Punkt 2 beachten
• Förderer und Institutionen sollen neben Forschungspublikationen auch den Wert anderer Forschungsergebnisse (Datensätze, Software, Patente…) bedenken und ein breiteres, auch qualitatives Spektrum an Impactmaßen incl. Einfluss auf Politik und Praxis beachten.
• Verlage sollten den Impactfaktor nicht oder nur im Kontext weiterer Metriken zu Werbezwecken verwenden und damit eine umfassendere Darstellung ihrer Journale erreichen.
• Verlage sollten artikelbasierte Metriken zur Verfügung stellen
• Verlage sollten klare Richtlinien für verantwortliche Autorenschaft und individuelle Beiträge aller Autoren herausgeben
• Verlage sollten alle Literaturlisten von Originalarbeiten frei zur Verfügung stellen
• Verlage sollten die Länge von Literaturverzeichnissen nicht begrenzen und zum Zitieren der ursprünglichen Originalpublikationen anstelle von Übersichtsarbeiten auffordern.
• Herausgeber von Metriken sollten Daten und Methoden zu deren Berechnung offenlegen und unbeschränkt zugänglich machen
• Herausgeber von Metriken dürfen unangemessene Manipulationen der Metriken nicht tolerieren. Sie sollen klarstellen, was als unangemessene Manipulationgilt und welche Konsequenzen sie ggfs. hat
• Herausgeber von Metriken sollen unterschiedliche Artikeltypen und Fachgebiete bei der Nutzung und Weiterverwendung von Metriken beachten
• Wissenschaftler sollen bei der Begutachtung von Förderanträgen oder Personen die Punkte 1 und 2 beachten und verstärkt auf Artikel-Metriken setzen.
• Wissenschaftler sollten soweit angemessen Originalautoren zitieren, um ihnen die gebotene Anerkennung zukommen zu lassen
• Wissenschaftler sollen übertrieben Impactfaktor-lastigen Beurteilungen entgegentreten und gute wissenschaftliche Praxis lehren, die auf dem Wert und Einfluss spezifischer Forschungsergebnisse basiert.

Mittlerweile (Stand 17.9.2013) sind der DORA 9305 Einzelpersonen und 381 Wissenschaftsorganisationen beigetreten – unter ihnen die AWMF, die sich durch die Erklärung in ihren langjährigen Positionen bestärkt fühlt.

Offen lässt die DORA allerdings weitere Bereiche, die im deutschen System der Leistungsevaluation von Relevanz sind (wie z.B. die Gewichtung von Drittmitteleinwerbungen, insbesondere auch im Rahmen von kooperativen oder Verbundprojekten) bzw. sein sollten wie (z.B. Berücksichtigung von Nachwuchsförderung, Mitarbeit in Gremien, an Leitlinien etc.).

Wie die DORA beabsichtig auch die AWMF, die Leistungsevaluation der medizinischen Forschungsleistung auf eine wissenschaftlich solide Grundlage zu stellen. Dies ist auch Gegenstand des am 18.10.2013 erstmals abgehaltenen Berliner Forums der AWMF, www.awmf.org/die-awmf/veranstaltungen/berliner-forum/berliner-forum-der-awmf.html), auf dem mit Beteiligung internationaler Experten und von Vertretern relevanter deutscher Wissenschaftsorganisationen Möglichkeiten zur stärker evidenzbasierten Bewertung von Forschungsleistungen diskutiert werden sollen.

• Adler R, Ewing J, Taylor P. Citation Statistics - A Report from the International Mathematical Union (IMU) in Cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS). Statistical Science 2009;24: 1–14
• Alberts B. Impact Factor Distortions. Science 2013;340:787
• Brähler E, Strauß B. Leistungsorientierte Mittelvergabe an Medizinischen Fakultäten -Eine aktuelle Übersicht. Bundesgesundheitsbl 2009; DOI 10.1007/s00103-009-0918-1
• Brunner E, Herrmann-Lingen C., Bibliometrie in der Medizin – die Position der AWMF. Bibliometrie - Praxis und Forschung 2012;1: 2. URN:urn:nbn:de:bvb:bpf-155-0
• Frömter E, Brähler E, Langenbeck U, Meenen NM, Usadel KH. Das AWMF-Modell zur Evaluierung publizierter Forschungsbeiträge in der Medizin. Dtsch Med Wochenschr 1999;124:910–915

Prof. Dr. med. Christoph Herrmann-Lingen

Sprecher der AWMF-Kommission Leistungsevaluation in Forschung und Lehre

Klinik für Psychosomatische Medizin und Psychotherapie

Universitätsmedizin Göttingen – Georg August-Universität

v. Siebold-Str. 5, 37075 Göttingen

Tel. 0551/39-6707; Fax 0551/39-19150

Email: cherrma@gwdg.de