gms | German Medical Science

Die AWMF hat bereits im Jahr 1999 kritisch zur Bewertung der medizinischen Forschungsleistung, insbesondere auch zur Verwendung des unadjustierten Journal Impact Factors, Stellung genommen (Frömter et al. 1999). Diese Empfehlungen wurden breit rezipiert und an vielen medizinischen Fakultäten in Deutschland zumindest teilweise umgesetzt (Brähler und Strauß 2009). Trotz auch international zunehmender Kritik, etwa im Rahmen der San Francisco Declaration on Research Assessment (DORA), der die AWMF im Herbst 2013 beigetreten ist (Herrmann-Lingen 2013) spielen methodisch fragwürdige Qualitätsindikatoren aber nach wie vor eine bedeutende Rolle bei der Bewertung der Forschungsleistung von Individuen und Institutionen.

Die AWMF erkennt an, dass die Bewertung medizinischer Forschungsleistungen im Interesse der Weiterentwicklung der wissenschaftlichen Medizin sinnvoll ist. Sie nimmt aber ebenso wie viele Wissenschaftlerinnen und Wissenschaftler und ihre Fachgesellschaften nach wie vor ein qualitatives Defizit in der Evaluationspraxis wahr.

In ihrem Berliner Forum vom 18.10.2013 sowie in den Folgemonaten hat die AWMF daher gemeinsam mit internationalen Experten scientometrischer Forschung sowie Vertreterinnen und Vertretern relevanter Wissenschaftsorganisationen und medizinischer Fachgesellschaften intensive Diskussionen zu Fragen der Evaluation medizinischer Forschungsleistungen geführt. Die Ergebnisse dieser Diskussionen sind in einem aktuellen AWMF-Positionspapier (Herrmann-Lingen et al. 2014) ausführlich niedergelegt. Die AWMF empfiehlt den Fakultäten, Wissenschaftsministerien und Institutionen der Forschungsförderung darin eine differenzierte, mehrdimensionale Evaluation medizinischer Forschungsleistungen:

• Der Evaluation medizinischer Forschungsleistung sollte eine jeweils a priori explizit formulierte und kommunizierte Zielsetzung zugrunde liegen.

• Methodisch eignen sich zur Evaluation medizinischer Forschungsleistung insbesondere informierte peer-review-Verfahren. Wegen des damit verbundenen Aufwands stellen diese jedoch nur in größeren zeitlichen Intervallen gangbare Wege dar.
• Wichtigster Parameter der Evaluation ist die Bedeutung der Forschungsleistung für die Weiterentwicklung der wissenschaftlichen Medizin bzw. eines spezifischen Fachgebiets.
• Der Journal Impact Factor ist hierfür kein geeignetes Instrument. Er soll daher nicht für die Bewertung der Forschungsleistung von Individuen oder Institutionen verwendet werden sondern schnellstmöglich durch geeignete Indikatoren, z.B. adäquat normierte Zita¬tionsraten ersetzt werden.
• Geeignete Indikatoren des medizinisch-wissenschaftlichen Impacts umfassen neben der Rezeption in der wissenschaftlichen Fachwelt auch die Nützlichkeit für die praktische Medizin (z.B. Leitlinien-Relevanz, Praxistransfer) bzw. die Gesellschaft insgesamt (z.B. Krankheits-prävention, ökonomischer Nutzen).
• Angesichts zunehmender Nachwuchsprobleme in der medizinischen Forschung und der Medizin insgesamt stellt eine geeignete Nachwuchsgewinnung und –förderung einen zweiten wesentlichen Evaluationsparameter dar.
• Geeignete Indikatoren für erfolgreiche Nachwuchsförderung sollten sowohl die Struktur- und Prozessqualität der akademischen Lehre als auch Maßnahmen zur Förderung des postgraduierten Nachwuchses und ihre jeweiligen Ergebnisse erfassen.
• Je nach Zielsetzung der Evaluation können auch die eingeworbenen bzw. verausgabten Drittmittel als Parameter genutzt werden.
• Bei der Evaluation der Drittmitteleinwerbung sollten antragsbasierte und unabhängig begutachtete Mittel öffentlicher Fördermittelgeber oder vergleichbarer Förderorgani¬sationen höher bewertet werden als unbegutachtete Zuwendungen anderer Herkunft.
• Neben einer reinen Bewertung von Drittmittelsummen sollte der wissenschaftliche „Ertrag“ pro eingesetzter Fördersumme Berücksichtigung finden. Hierfür sollten geeignete Algorithmen entwickelt werden.
• Es sind geeignete Indikatoren für die Evaluation in größeren, oft interdisziplinären Gruppen erbrachter Leistungen (z.B. Forschungsverbünde, Vielautoren-Publikationen) zu entwickeln, die sowohl dem individuellen Beitrag als auch der Gruppenleistung insgesamt (Mehrwert durch Vernetzung, Koordination etc.) Rechnung tragen. Dies betrifft sowohl den wissenschaftlichen Impact als auch gemeinsam eingeworbene Drittmittel.

• Die leistungsorientierte Mittelvergabe ist in ihrer Steuerungswirkung umstritten. Besonders wichtig für die in aller Regel intrinsisch hoch motivierten WissenschaftlerInnen ist die Wertschätzung der geleisteten Arbeit. Dagegen läuft ein Übergewicht auf finanziellen Anreizen als extrinsischem Motivator langfristig Gefahr, intrinsische Motivation zu untergraben.
• Oft ist unmittelbares Feedback und gemeinsame Diskussion der Evaluationsergebnisse zielführend.
• Daneben können die Ergebnisse von Evaluationen zum gezielten Einsatz von Instrumenten der Organisations-, Projekt- und Karriereplanung dienen.
• Es wird Wert auf eine ausreichende Grundausstattung der Einrichtungen gelegt, die jeweils nur in längeren Abständen an neue Entwicklungen angepasst werden sollte.

• Frömter E, Brähler E, Langenbeck U, Meenen NM, Usadel KH. Das AWMF-Modell zur Evaluierung publizierter Forschungsbeiträge in der Medizin. Dtsch Med Wochenschr. 1999 Jul;124(30):910-5.
• Brähler E, Strauss B. Leistungsorientierte Mittelvergabe an Medizinischen Fakultäten: Eine aktuelle Ubersicht. Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2009 Sep;52(9):910-6.
• Herrmann-Lingen C. Internationale Wissenschaftsorganisationen stärken AWMF-Position zur Bewertung von Forschungsleistungen. GMS Mitt AWMF. 2013;10:Doc11. DOI: 10.3205/awmf000284
  Weblink: http://www.egms.de/de/journals/awmf/2013-10/awmf000284.shtml
• Herrmann-Lingen C, Brunner E, Hildenbrand S, Loew TH, Raupach T, Spies C, Treede RD, Vahl CF, Wenz HJ. Evaluation of medical research performance – position paper of the Association of the Scientific Medical Societies in Germany (AWMF). GMS Ger Med Sci.2014;12:Doc11. DOI: 10.3205/000196
  Weblink: www.egms.de/de/journals/gms/2014-12/000196.shtml