gms | German Medical Science

GMS German Medical Science — an Interdisciplinary Journal

Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF)

ISSN 1612-3174

AWMF-Positionspapier zur Evaluation der medizinischen Forschungsleistung

Positionspapier

  • corresponding author Christoph Herrmann-Lingen - Klinik für Psychosomatische Medizin und Psychotherapie, Universitätsmedizin Göttingen, Göttingen, Deutschland
  • Edgar Brunner - Institut für Medizinische Statistik, Universitätsmedizin Göttingen, Göttingen, Deutschland
  • Sibylle Hildenbrand - Institut für Arbeitsmedizin, Sozialmedizin und Versorgungsforschung, Universitätsklinikum Tübingen, Tübingen, Deutschland
  • Thomas H. Loew - Abteilung für Psychosomatik, Universitätsklinikum Regensburg, Regensburg, Deutschland
  • Tobias Raupach - Klinik für Kardiologie und Pneumologie, Universitätsmedizin Göttingen, Göttingen, Deutschland
  • Claudia Spies - Klinik für Anästhesiologie mit Schwerpunkt Operative Intensivmedizin der Charité – Universitätsmedizin Berlin, Berlin, Deutschland
  • Rolf-Detlef Treede - CBTM, Lehrstuhl Neurophysiologie, Medizinische Fakultät Mannheim der Universität Heidelberg, Mannheim, Deutschland
  • Christian-Friedrich Vahl - Klinik für Herz-Thorax und Gefäßchirurgie, Universitätsmedizin Mainz, Mainz, Deutschland
  • Hans-Jürgen Wenz - Klinik für Zahnärztliche Prothetik, Propädeutik und Werkstoffkunde, Christian-Albrechts-Universität Kiel, Kiel, Deutschland

GMS Ger Med Sci 2014;12:Doc11

doi: 10.3205/000196, urn:nbn:de:0183-0001969

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/gms/2014-12/000196.shtml

Eingereicht: 23. Juni 2014
Veröffentlicht: 26. Juni 2014

© 2014 Herrmann-Lingen et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Zusammenfassung

Ziele: Die Evaluation medizinischer Forschungsleistung ist eine zentrale Voraussetzung für die gezielte Weiterentwicklung von Fakultäten, Forschungsschwerpunkten, Instituten bzw. Kliniken sowie Wissenschaftlerkarrieren. Sie basiert aber vielfach auf unklaren Zielvorstellungen und fragwürdigen Methoden und kann zu Fehlsteuerungen führen. Ziel der vorliegenden Arbeit ist eine Positionsbestimmung der wissenschaftlichen Medizin gegenüber den Zielen, Methoden und Konsequenzen ihrer Evaluation.

Methoden: Im Rahmen des Berliner Forums der AWMF vom 18.10.2013 wurden von internationalen Experten Befunde zur Methodik der Evaluation medizinischer Forschungsleistung referiert, von Vertretern relevanter Wissenschaftsorganisationen diskutiert und in drei Adhoc-Schreibgruppen in einen Textentwurf gefasst. Dieser wurde mehrfach in der AWMF-Kommission für Leistungsevaluation in Forschung und Lehre sowie im AWMF-Präsidium diskutiert und in der vorliegenden finalen Fassung konsentiert.

Ergebnisse: Die AWMF empfiehlt eine Veränderung des Systems der Bewertung medizinischer Forschungsleistungen. Evaluationen sollten eine a priori klar definierte und kommunizierte Zielsetzung besitzen und neben summativen auch formative Elemente enthalten. Neben sinnvollen aber nur in längeren Intervallen praktikablen informierten peer reviews können auch objektive Indikatoren zur Evaluation eingesetzt werden. Die Verwendung des Journal Impact Factors zur Bewertung einzelner Publikationen oder ihrer Autoren wird dabei abgelehnt. Der wissenschaftliche „Impact“ erfordert vielmehr eine multidimensionale Beurteilung, in der z.B. normierte Zitationsraten wissenschaftlicher Publikationen ebenso Berücksichtigung finden wie andere Formen der Rezeption in Fachwelt und Öffentlichkeit sowie Tätigkeiten im Bereich der Wissenschaftsorganisation, -synthese und -kommunikation. Daneben werden Vorschläge zu einer differenzierten Bewertung von Drittmitteleinwerbung und Nachwuchsförderung gemacht.

Folgerungen: Mit den konkreten Empfehlungen des vorliegenden Positionspapiers legt die AWMF den Fakultäten, Ministerien und Organisationen der Forschungsförderung eine Weiterentwicklung der Evaluationspraxis medizinischer Forschungsleistungen nahe.


1 Ausgangslage

Die Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF) hat bereits im Jahr 1999 kritisch zur Bewertung der medizinischen Forschungsleistung, insbesondere auch zur Verwendung des unadjustierten Journal Impact Factors, Stellung genommen [1]. Diese Empfehlungen wurden breit rezipiert und an vielen Fakultäten zumindest teilweise umgesetzt [2]. Auch aus der Perspektive einzelner medizinischer (z.B. [3]) und nichtmedizinischer Fächer (z.B. [4]) wurde die Dominanz der Journal Impact-Faktoren für die Leistungsbewertung individueller Wissenschaftler wiederholt kritisiert. Dennoch spielen methodisch zumindest fragwürdige Qualitätsindikatoren nach wie vor eine bedeutende Rolle bei der Bewertung der Forschungsleistung von Individuen und Institutionen, wie kürzlich in einem Editorial in Science erneut betont wurde [5]. Unter Verweis auf die San Francisco Declaration on Research Assessment (DORA) wird der Verteilung öffentlicher Mittel und der Praxis der Entscheidung über wissenschaftliche Karrieren auf der Basis summierter Journal Impact-Faktoren jetzt auch auf breiter Basis entgegengetreten. Peter Higgs, der aktuelle Nobelpreisträger für Physik, kritisierte kürzlich in einem Interview mit dem Guardian: „Today, I wouldn’t get an academic job. ... I don’t think I would be regarded as productive enough“ (http://www.theguardian.com/science/2013/dec/06/peter-higgs-interview-underlying-incompetence).


2 Empfehlungen

Die AWMF empfiehlt den Fakultäten, Wissenschaftsministerien und Institutionen der Forschungsförderung folgende Punkte zur Bewertung der medizinischen Forschungsleistung:

  • Der Evaluation medizinischer Forschungsleistung sollte eine jeweils a priori explizit formulierte und kommunizierte Zielsetzung zugrunde liegen.
  • Methodisch eignen sich zur Evaluation medizinischer Forschungsleistung insbesondere informierte peer-review-Verfahren. Wegen des damit verbundenen Aufwands stellen diese jedoch nur in größeren zeitlichen Intervallen gangbare Wege dar.
  • Wichtigster Parameter der Evaluation ist die Bedeutung der Forschungsleistung für die Weiterentwicklung der wissenschaftlichen Medizin bzw. eines spezifischen Fachgebiets.
  • Der Journal Impact Factor ist hierfür kein geeignetes Instrument. Er soll daher nicht für die Bewertung der Forschungsleistung von Individuen oder Institutionen verwendet werden sondern schnellstmöglich durch geeignete Indikatoren, z.B. adäquat normierte Zitationsraten ersetzt werden.
  • Geeignete Indikatoren des medizinisch-wissenschaftlichen Impacts umfassen neben der Rezeption in der wissenschaftlichen Fachwelt auch die Nützlichkeit für die praktische Medizin (z.B. Leitlinien-Relevanz, Praxistransfer) bzw. die Gesellschaft insgesamt (z.B. Krankheitsprävention, ökonomischer Nutzen).
  • Angesichts zunehmender Nachwuchsprobleme in der medizinischen Forschung und der Medizin insgesamt stellt eine geeignete Nachwuchsgewinnung und -förderung einen zweiten wesentlichen Evaluationsparameter dar.
  • Geeignete Indikatoren für erfolgreiche Nachwuchsförderung sollten sowohl die Struktur- und Prozessqualität der akademischen Lehre als auch Maßnahmen zur Förderung des postgraduierten Nachwuchses und ihre jeweiligen Ergebnisse erfassen. [Eine separate Stellungnahme der AWMF und des MFT (Medizinischer Fakultätentag) zur Evaluation der curricularen Lehre befindet sich gegenwärtig in Vorbereitung.]
  • Je nach Zielsetzung der Evaluation können auch die eingeworbenen bzw. verausgabten Drittmittel als Parameter genutzt werden.
  • Bei der Evaluation der Drittmitteleinwerbung sollten antragsbasierte und unabhängig begutachtete Mittel öffentlicher Fördermittelgeber oder vergleichbarer Förderorganisationen höher bewertet werden als unbegutachtete Zuwendungen anderer Herkunft.
  • Neben einer reinen Bewertung von Drittmittelsummen sollte der wissenschaftliche „Ertrag“ pro eingesetzter Fördersumme Berücksichtigung finden. Hierfür sollten geeignete Algorithmen entwickelt werden.
  • Es sind geeignete Indikatoren für die Evaluation in größeren, oft interdisziplinären Gruppen erbrachter Leistungen (z.B. Forschungsverbünde, Vielautoren-Publikationen) zu entwickeln, die sowohl dem individuellen Beitrag als auch der Gruppenleistung insgesamt (Mehrwert durch Vernetzung, Koordination etc.) Rechnung tragen. Dies betrifft sowohl den wissenschaftlichen Impact als auch gemeinsam eingeworbene Drittmittel.

3 Begründung der Empfehlungen

3.1 Übergeordnete Aspekte der Evaluation

Bei der Evaluation medizinischer Forschungsleistung können drei übergeordnete Aspekte unterschieden werden:

  • Ziele der Evaluation: Leistungsoptimierung der Forschung durch die Steuerungswirkung von summativer und formativer Evaluation auf verschiedenen Ebenen (Beurteilung von Einzelpersonen vs. Beurteilung von Instituten, Kliniken, Schwerpunkten oder Fakultäten)
  • Methoden der Evaluation: Dimensionen (input/output) [Der Begriff „output“ umfasst hier sowohl den „Impact“ der Forschung als auch die Nachwuchsförderung.] und Instrumente (z.B. informierter peer review, Maßzahlen)
  • Konsequenzen der Evaluation: Materielle und immaterielle Bewertung und Belohnung guter Leistung, Anpassung der Rahmenbedingungen etc.

Aus Sicht der AWMF sind Evidenzbasierung, Transparenz und Akzeptanz von Evaluationen wesentliche Voraussetzungen für ihren Erfolg. Evaluationen sollten keine hoheitlichen Akte sondern interaktive Prozesse zur Qualitätssicherung und -entwicklung der Wissenschaft und fairen Allokation begrenzter Forschungsressourcen und Karriereoptionen sein. Dabei folgt die Methodik den Zielsetzungen der Evaluation. Umgekehrt ergibt sich aus ihr, welche Konsequenzen sinnvoller Weise aus der Evaluation zu ziehen sind. Zielsetzungen und Konsequenzen stellen somit notwendige Rahmenbedingungen der Evaluationsmethodik dar, die den Schwerpunkt der vorliegenden Stellungnahme bildet.

3.2 Ziele der Evaluation

Die Evaluation medizinischer Forschungsleistungen sollte jeweils unter einer bereits a priori klar definierten Zielsetzung erfolgen. Das Evaluationsziel bestimmt die Art, Intensität und Häufigkeit von Evaluationen. Entscheidend ist dabei die Beurteilung der Qualität der Forschungsleistung. Diese kann sich je nach konkreter Zielsetzung am erzielten Erkenntnisfortschritt oder dem Nutzen der Forschung für die Krankenversorgung, die Ärzte-Aus-, Fort- und Weiterbildung incl. Nachwuchsgewinnung und -förderung oder für andere gesellschaftliche Ziele (z.B. Prävention, ethische Fragestellungen, ökonomische Relevanz) orientieren.

Gegenüber den bislang vorherrschenden summativen Evaluationen (also Evaluationen zur Ergebnisbewertung) ist das Gewicht formativer Evaluationen (also solcher zur Prozessoptimierung) zu erhöhen. Diese können konstruktives Feedback mit dem Ziel der Weiterentwicklung individueller Karrieren, wissenschaftlicher Programme und Einrichtungen geben und die Implementierung guter wissenschaftlicher Praxis fördern.

3.3 Methoden der Evaluation

Methodisch eignen sich zur Evaluation medizinischer Forschungsleistung insbesondere informierte peer-review-Verfahren wie sie z.B. vom Wissenschaftsrat vertreten und durchgeführt werden. Wegen des damit verbundenen Aufwands (incl. Belastung der Gutachter) stellen diese jedoch nur für ausgewählte Zielsetzungen (z.B. Evaluation von Fakultäten, Berufungsverfahren) und in größeren zeitlichen Intervallen gangbare Wege dar.

Es müssen daher auch weniger aufwändige Evaluationsmethoden zur Verfügung stehen. Hierfür können unter den unten aufgeführten Prämissen auch quantitative Parameter zum Einsatz kommen. Ein Automatismus zwischen dem Erreichen einer bestimmten Maßzahl und einer nachfolgenden (z.B. finanziellen oder karrierebezogenen) Konsequenz wird aber abgelehnt. Vielmehr sollten auch metrische Indikatoren zunächst Gegenstand einer gemeinsamen Erörterung von Evaluierendem und Evaluiertem sein und gemeinsam vor dem spezifischen Hintergrund des Fachgebiets und seiner Forschungskultur, lokaler Besonderheiten etc. bewertet werden.

Neben formativen Evaluationen können summative Evaluationen zur gezielten Steuerung der Forschungsförderung oder Vorbereitung von Karriereschritten zum Einsatz kommen. Ihr Einsatz soll aber mit Augenmaß und niemals ohne kritische Überprüfung ihrer Steuerungswirkung erfolgen, so dass Fehlsteuerungen (z.B. Quantität vor Qualität [6]; Innovationsfeindlichkeit durch Fokussierung der Forschung auf den hinsichtlich summativer Parameter leichter vorhersagbaren Mainstream) frühzeitig durch Änderung der Parameter der summativen Evaluation entgegengewirkt werden kann.

Eine überzogene „Evaluitis“ wird von der AWMF kritisch gesehen. Hiervon ist z.B. auszugehen, wenn Evaluationen ganz oder in Teilen ohne klare Zielsetzung bzw. Konsequenzen erfolgen oder wenn eine zu hohe Dichte der Evaluationen im Missverhältnis zu ihrem Erkenntnisgewinn bzw. zu den für sinnvolle Steuerungsprozesse in der Wissenschaft benötigten Zeitintervallen steht.

Die Evaluation medizinischer Forschungsleistung soll im Wesentlichen drei zentrale Bereiche erfassen:

  • den „Impact“ der Forschungstätigkeit im weiteren Sinne, also ihren Beitrag zum wissenschaftlichen, klinisch-medizinischen und sonstigen gesellschaftlichen Fortschritt
  • den „Input“, hier insbesondere die Leistung bei der kompetitiven Drittmitteleinwerbung
  • die Nachwuchsförderung als wesentlichen Nachhaltigkeitsfaktor.

Diese Bereiche stehen in Übereinstimmung mit den aktuellen Empfehlungen des Wissenschaftsrats [7] zu zukünftigen Forschungsratings. Aus Sicht der AWMF lassen sich unter diese drei Dimensionen auch die vom Wissenschaftsrat zusätzlich vorgeschlagenen Kriterien Wissenschaftstransfer, Wissensvermittlung und Reputation subsumieren.

3.3.1 Evaluation des „Impacts“

Mit dem Beitritt zur San Francisco Declaration on Research Assessment (DORA: http://am.ascb.org/dora/) bekennt sich die AWMF zu den dort erhobenen Forderungen zur Publikationsbewertung. Von besonderer Bedeutung im Kontext der Leistungsevaluation sind hier:

  • Keine Nutzung von Journal-Metriken wie dem Journal Impact Factor als Qualitätsmaß zur Beurteilung der Qualität individueller Artikel oder ihrer Autoren bzw. deren Einstellung oder (Be-) Förderung.
  • Der wissenschaftliche Gehalt einer Arbeit ist wesentlich bedeutsamer als Publikationsmetriken oder Journal-Namen. Dies gilt besonders auch bei der Beurteilung von NachwuchswissenschaftlerInnen.
  • Förderer und Institutionen sollen neben Forschungspublikationen auch den Wert anderer Forschungsergebnisse (Datensätze, Software, Patente…) bedenken und ein breiteres, auch qualitatives Spektrum an Impactmaßen incl. Einfluss auf Politik und Praxis beachten.

Kernpunkt bei der Beurteilung des Impacts der Forschungsleistungen einer Person ist aus Sicht der AWMF die Frage, ob diese Person in ihrem Fach etwas bewegt hat.

Dies kann auf verschiedenen Ebenen erfasst bzw. gemessen werden:

  • 1. Ebene: Bewertung von Publikationen
    a) in anerkannten wissenschaftlichen Fachzeitschriften mit peer review
    b) in anderen Medien (Bücher, Leitlinien etc.)
    c) Zitation durch Leitlinienempfehlungen
  • 2. Ebene: Aktive Aufgaben in Wissenschaftsorganisationen, Gremien und Herausgeberschaften
  • 3. Ebene: Organisation/Leitung wissenschaftlicher Tagungen

Dabei ist es methodisch schwierig, die drei Ebenen auf einer gemeinsamen Skala zusammenzufassen, da keine sinnvollen Umrechnungsfaktoren existieren. Die Ebenen 1b bis 3 sind aber zusätzlich zur bislang vorherrschenden Ebene 1a als Indikatoren mit eigener Berechtigung zu berücksichtigen und sollten daher im Sinne einer mehrdimensionalen Bewertung in separaten Rubriken in die Evaluation einfließen.

Ebene 1a

In Ergänzung der Forderungen der DORA werden folgende Punkte angeregt:

  • Soweit einer summativen Evaluation bibliometrische Indikatoren zugrundegelegt werden sollen, muss zuvor sichergestellt werden, dass diese evidenzbasiert, transparent und praktikabel sind. Bei der Prüfung der Evidenzbasierung ist das Evaluationsziel zugrundezulegen (z.B. gewünschte Steuerungswirkung der Evaluation). Die Einfachheit der Durchführung kann dabei nicht wesentliches Kriterium sein und zur Wahl ungeeigneter Instrumente führen. Dennoch muss eine inhaltlich sinnvolle Evaluation unter den gegebenen Bedingungen durchführbar bleiben. Für eine methodisch adäquate Evaluation muss bei Bedarf die erforderliche bibliometrische Expertise „eingekauft“ werden. Entsprechende Angebote sind auf dem Markt verfügbar.
  • Weder der Journal Impact Factor noch der H-Index eignen sich für die individuelle Leistungsbeurteilung. Der Journal Impact Factor stellt ein Maß für die Zitationshäufigkeit einer Zeitschrift über einen relativ kurzen Zeitraum dar. Er korreliert nicht hinreichend mit den Zitationsraten individueller Beiträge, bildet unterschiedliche Publikationskulturen verschiedener Fächer nicht ab und ist daher für die Beurteilung von Individuen und Institutionen ungeeignet. Der H-Index ist wegen numerischer Instabilität und Altersabhängigkeit kritisch zu sehen.
  • Die Verwendung differenzierterer bibliometrischer Analysen wird daher bevorzugt [5], insbes. die Verwendung Feld- und Artikeltyp-normierter Zitationsraten. [D.h., die Standardisierung der Zitationsraten einzelner Artikel erfolgt auf der Basis des jeweiligen Fachgebiets (ermittelt über die Fachgebietszuordnung der Zeitschrift, in der der Artikel erscheint) sowie des Artikel-Typs: Originalarbeiten, Übersichten und Leserbriefe werden wegen sehr unterschiedlicher Zitationsmuster separat gewertet. Offen ist noch, wie die Fachzugehörigkeit interdisziplinärer Publikationen bzw. von Publikationen aus Querschnittsbereichen oder aus solchen Journalen bewertet werden soll, deren Zuordnung im Web of Science von dem deutschen Fächerkanon abweicht.] Die Feldnormierung reflektiert und adjustiert für die unterschiedlichen Publikations- und Zitationskulturen verschiedener Fachgebiete [8], [9], [10]. Die Artikeltyp-Normierung trägt den unterschiedlichen mittleren Zitationsraten von z.B. Originalarbeiten und Übersichten Rechnung [11]. [Selbstverständlich sind auch systematische Übersichtsarbeiten, Metaanalysen und Leitlinien als originäre wissenschaftliche Publikationsleistungen zu werten, vgl. Resolution der AWMF vom 9.11.2013 http://www.awmf.org/fileadmin/user_upload/Stellungnahmen/Forschung_und_Lehre/AWMF-Resolution_Wiss-Anerkennung-LL-Arbeit.pdf]. Als Bewertungsfenster sollen angesichts der empirischen Datenlage zum Zitationsverhalten Zeiträume von mehreren (z.B. fünf) Jahren zugrunde gelegt werden [11].
  • Bei der individuellen Leistungsbewertung sollten die „dos and dont’s“ der individuumsbezogenen Bibliometrie nach Glänzel & Wouters [12] beachtet werden.
  • Die individuellen Beiträge jedes Autors auf Publikationen sollten in allen Zeitschriften standardisiert benannt werden. Gefälligkeits- und Ehren-Autorenschaften sind unzulässig.
Ebene 1b

Mit jeweils individuell festzulegender Gewichtung sind als eigenständige Publikationsformen die folgenden Beiträge zu berücksichtigen:

  • Monographien und Buchbeiträge
  • Leitlinien und Health Technology Assessment-(HTA)-Berichte, auch wenn sie weder in Buchform noch in einer wissenschaftlichen Fachzeitschrift erschienen sind
  • Publikationen von Originaldaten, Softwareentwicklungen, Patenten etc. (s. DORA)
  • Verfügbarmachen wissenschaftlicher Erkenntnisse für die nicht-wissenschaftliche Praxis durch laiengerechte Aufbereitung; z.B. Patientenratgeber, Darstellungen in der Presse etc.
Ebene 1c

Die Zitation durch Leitlinien bei der unmittelbaren Begründung konkreter Empfehlungen („Leitlinien-Relevanz“) stellt ein geeignetes Maß des klinischen Impacts einer Publikation dar und sollte separate Berücksichtigung finden.

Ebene 2

Hier sind Aktivitäten zur intra- und interdisziplinären Vernetzung und Qualitätssicherung der Forschung zu bewerten.

Relevante Punkte sind hier insbesondere:

  • Herausgabe wissenschaftlicher Zeitschriften als wesentliches Instrument zur Verbreitung von Forschungsergebnissen
  • Mitarbeit in Vorständen, Sektionen und Arbeitsgemeinschaften von Fachgesellschaften und Wissenschaftsorganisationen
  • Mitarbeit in wissenschaftlichen Beiräten anerkannter nationaler oder internationaler Wissenschafts- und Forschungsförderorganisationen
  • Herausgehobene Gutachtertätigkeit (z.B. DFG-Kollegiaten)
Ebene 3:

Die Organisation und Leitung von Fachtagungen als wichtiges Medium der Wissenschaftskommunikation soll als eigenständige Leistung berücksichtigt werden.

3.3.2 Evaluation des „Inputs“

Inputbezogene Parameter für die Forschungsleistung können auf unterschiedlichen Ebenen definiert werden. Dabei sollen die vom zu Evaluierenden direkt beeinflussbaren Faktoren im Vordergrund stehen:

  • Rahmenbedingungen (Grundausstattung, Expertise, Strategiekonzepte, Anteil Arbeitszeit für Forschung, Betreuungsqualität für den wissenschaftlichen Nachwuchs); beeinflussbar auf Ebene von Fakultäten oder Zentren. Hierzu wird im vorliegenden Papier nicht detailliert Stellung genommen.
  • Einwerbung und effektive Verwendung von Drittmitteln; beeinflussbar auf Ebene der einzelnen Forscher

Evaluationsparameter für die Forschungsleistung innerhalb der Fakultäten:

  • Die Anerkennung und Gewichtung Evaluations-relevanter Drittmittel muss explizit festgelegt und transparent gehandhabt werden.
  • Bei der Gewichtung Evaluations-relevanter Drittmittel müssen auf einer unabhängigen Begutachtung von Förderanträgen basierende Drittmittel höher bewertet werden als solche, die ohne unabhängige Begutachtung eingeworben wurden. Die Art des Drittmittelgebers sollte gewichtet werden: Öffentliche Förderung und neutrale Stiftungen sollten höher gewichtet werden als Interessenverbände oder industrielle Förderer.
  • Auftragsforschung ist mit der Mittelbereitstellung ausreichend abgegolten und ist geeignet, Vorarbeiten für kompetitive Anträge zu finanzieren. Sie rechtfertigt keinen zusätzlichen Bonus aus öffentlichen Quellen, kann aber im Bereich der angewandten Forschung zur Bewertung von Personen herangezogen werden.
  • Eine faire und transparente Bewertung der individuellen Mittelanteile an kooperativen Forschungsprojekten und industrie-unabhängigen Multicenterstudien soll sowohl die Leistung der Haupt-Antragsteller als auch diejenige der Kooperationspartner angemessen abbilden. Dies ist eine notwendige Voraussetzung für eine Kultur wissenschaftlicher Zusammenarbeit. Ggfs. sind allgemeine Gewichtungsschlüssel für die Beteiligung an unterschiedlichen Verbundtypen und Studien zu definieren (z.B. 1/3 der Bewertungspunkte für Hauptantragsteller und Verteilung der restlichen 2/3 auf alle Kooperationspartner bzw. Studienzentren).
  • Je eingeworbener Wissenschaftlerstelle sollten gleiche Anteile berücksichtigt werden, da z.B. die Vorhaltung einer besonders teuren Technik kein wissenschaftliches Qualitätsmerkmal darstellt. Bei klinischen Studien kann eine Gewichtung nach Höhe der ausgezahlten Fallgelder erwogen werden, bei wissenschaftlichen Dienstleistungen können analog die Untersuchungskostenpauschalen eingesetzt werden.
  • Die Kosteneffizienz der eingesetzten Mittel bezogen auf den wissenschaftlichen Output (gemäß den Kriterien unter „Impact“ und „Nachwuchsförderung“) sollte als Maß für den angemessenen Umgang mit bereitgestellten Ressourcen in die Leistungsbewertung von Forschern und Institutionen eingehen. Hierfür sind geeignete Algorithmen zu entwickeln.
  • In der Evaluation medizinischer Forschung sollte ein Bonus für systemische, translationale und Probanden- oder Patienten-bezogene Forschung mit konkretem Bezug zur praktischen Medizin eingeführt werden.
3.3.3 Evaluation der Nachwuchsförderung

Wesentlicher Gegenstand der Evaluation ist die Nachwuchsförderung vom Anfängerstadium bis zum elaborierten Forscher.

Grundprinzip sollte sein, Nachwuchs bereits früh für die Wissenschaft zu begeistern und nachhaltig bis zur Ordinariatskompetenz zu fördern. Zielgruppen der Förderung sind Studierende, Doktoranden und Postdoktoranden sowie habilitierte Wissenschaftler der Human- und Zahnmedizin, (Zahn-)Ärzte und Angehörige benachbarter Gebiete. Dabei sollte ein mehrdimensionales Bild von Forschung vermittelt werden, das die wissenschaftliche Arbeit, die Anwendung in der praktischen Medizin, lebenslanges Lernen und Lehren umfasst. Dies deckt sich mit dem CanMEDs-Ausbildungsmodell [13], in dem die Funktion des „Scholar“ in Abbildung der internationalen Outcome-Frameworks als eine wesentliche Rolle der Absolventen medizinischer Studiengänge definiert wird. Insofern ist bereits die Förderung der wissenschaftlichen Kompetenz im Rahmen der curricularen Lehre im Medizinstudium als Instrument der Nachwuchsförderung zu betrachten. Zu ihrer Evaluation wird hier im Weiteren jedoch nur punktuell unter dem Aspekt der Forschungsrelevanz Stellung genommen, da das Thema der Leistungsevaluation in der Lehre Gegenstand einer eigenständigen, gemeinsam mit dem Medizinischen Fakultätentag in Vorbereitung befindlichen Stellungnahme sein wird.

3.3.3.1 Quantitative Indikatoren

Auf Institutionsebene (Fakultät, Institut, Klinik) erfassbare Merkmale der Nachwuchsförderung in der Forschung:

  • Breite und Dichte von Maßnahmen zur Nachwuchsförderung, z.B.
    • Strukturierte Programme zur Heranführung an die Forschung: Aus-tauschprogramme, curriculare (Vermittlung der Scholar-Kompetenzen, Pflicht- und Wahlveranstaltungen) und hypothesengestützte Angebote im Studium (u.a. Journal-Clubs, Haus-/Masterarbeiten, How-to Angebote), Graduiertenschulen/MD/PhD-Programme [14], Clinical/Physician Scientist Programme [15], interdisziplinär vernetzte Mentoringprogramme
    • Anzahl bereits in der studentischen Ausbildung begleiteter Studierender (als modulare Brücke vor Beginn wissenschaftlicher Profilierung [16])
    • Umfang gewährleisteter „Protected Time“ [17], also für Forschungsaufgaben faktisch reservierter Zeit ohne konkurrierende Verpflichtungen in Lehre oder Krankenversorgung, für Nachwuchswissenschaftler aller Karrierestufen bis zum Ordinariat. Indikatoren: Freistellungszeiten in Vollkraftanteilen pro Beschäftigungsdauer, Umfang einrichtungsweiter Forschungskonferenzzeiten pro Woche bzw. Monat mit prozentualer Angabe der Beteiligung der Nachwuchswissenschaftler
  • Ergebnisse von Maßnahmen zur Nachwuchsförderung in der Forschung, z.B.
    • Zahl der Absolventen der o.g. Programme
    • Nachhaltigkeit der Programme; Indikatoren z.B. Karrierewege, Publikationen sowie Drittmitteleinwerbungen der Nachwuchswissenschaftler
    • Zahl der Tenure Track-Professuren in Forschung und Lehre [18]
    • Anzahl der Berufungen von Mitarbeitern auf wissenschaftliche Leitungspositionen bzw. auf klinische Leitungspositionen mit Mindest-Umsetzung der drei Dimensionen der Scholar-Kompetenz (Anwendung wissenschaftlicher Ergebnisse, lebenslanges Lernen, Lehren)

Individuell erfassbare Kriterien der Nachwuchsförderung

  • Zahl adäquat betreuter Qualifikationsarbeiten (Indikator z.B. Promotionsverträge pro abgeschlossener Promotion)
  • Zahl der eigenen Mitarbeiter mit Förderung in strukturierten Forschungs- bzw. Förderprogrammen bzw. mit Federführung in evidenzbasierten Leitlinienverfahren
  • Karrierewege und Forschungserfolge der eigenen Mitarbeiter (Kriterien wie oben)
3.3.3.2 Qualitative Indikatoren

Auf Institutionsebene (Fakultät, Institut, Klinik) erfassbare Merkmale

  • Vorhandensein und (horizontale wie vertikale) Vernetzung geeigneter Fördermaßnahmen für Nachwuchswissenschaftler auf den unterschiedlichen Karrierestufen, z.B. strukturierte Promotionsverfahren und nachhaltige Förderprogramme, interne und externe Peer Review- und „Coaching“-Verfahren („Lernen vom Besten“, „Common Sense“ zur Wissenschaftlichen Exzellenz, Entwicklung eigener „soft skills“) zum kollegialen Austausch auf Augenhöhe mit Nachwuchswissenschaftlern und Experten entsprechend des Leitfadens des Wissenschaftsrates und der Bundesärztekammer [19]; [20], Research Tracks, Vertrauensdozenten der Fachgesellschaften an der Institution.
  • Vorhandensein und Zugänglichkeit von Qualitätsstandards (z.B. gute wissenschaftliche Praxis) und wissenschaftlicher Infrastruktur incl. Anschubfinanzierungsprogrammen (z.B. für 1 Jahr, um junge Wissenschaftler auf dem Weg zum DFG Antrag zu finanzieren), direkt antragsbezogener Infrastruktur (u.a. Kurse zur guten klinischen und wissenschaftlichen Praxis incl. guter Laborpraxis, Antragsberatung und Antragsunterstützung bei der Einreichung von Unterlagen bei Tierschutzbehörden, Verfügbarkeit elektronischer Laborbücher, Nutzung von u.a. Core Facilities/Core Research Units) und klinischer Studien-Infrastruktur (zur Unterstützung bei formaler Abarbeitung der Behördenarbeit: u.a. Datenschutz, Ethikkommission, Bundesinstitut für Arzneimittel und Medizinprodukte, Meldung bei den Landesbehörden, An- und Abmeldung bei Clinicaltrials.gov, Schreiben der Sicherheitsberichte; Verfahren zur Vorveröffentlichung der Methodik, evidenzbasierte Prüfung der Unterlagen).
  • Vorhandensein von Transparenz- und Gleichstellungsmaßnahmen, z.B. Transparenz des wissenschaftlichen Profils als Instrument für eine gezielte Hochschulauswahl durch Nachwuchskräfte, flache Hierarchien mit u.a. Nachwuchsvertretungen/wiss. „Assistentensprechern“, Tandemprofessuren (z.B. nach Schweizer Beispiel: Assistenzprofessur mit 50% Forschung und Lehre/50% Krankenversorgung, dann Tenure Track, 70% Forschung und Lehre und 30% Krankenversorgung und umgekehrt); Finanzielle Gleichstellung wissenschaftlicher und klinischer Tätigkeit im gesamten Karriereverlauf; Nachhaltigkeit durch Vereinbarkeit von Karriere und Familie (Kinderbetreuung, ggfs. auch nachts, an Wochenenden mit Priorität für WissenschaftlerInnen, Kinderbetreuung während Tagungen, Seminaren und Konferenzen, Kriseninterventions-Kinderbetreuung).

Individuell erfassbare Kriterien

  • Aktive Mitwirkung an der Nachwuchsförderung durch Mitgestaltung u.a. von DFG-Nachwuchsakademien, Sommerschulen für herausragende Doktoranden, persönliches Engagement als Vorbildfunktion, Vermittlung grundlegender Wissenschaftskompetenzen an die Mitarbeiter, z.B. der Differenz zwischen Praxis (Alltagswissen), Profession (professionelles Wissen) und Wissenschaft (wissenschaftliches Wissen) sowie einer Brücke von Analytik, Transformation und Theorie, Frühzeitige Integration der Nachwuchswissenschaftler in Arbeitsgruppen mit zunehmender Verantwortlichkeit.
  • Qualität der Forschungsleistung der Mitarbeiter, z.B. Reproduzierbarkeit der Ergebnisse der eigenen Nachwuchswissenschaftler durch andere Forschungsgruppen, Self-Assessment: Bewertung eigener wichtigster Forschungsergebnisse und Unabhängigkeit bei der eigenen Forschung durch Nachwuchswissenschaftler als Maß der Nachwuchsförderung durch den jeweiligen Mentor, Konsequenter Track der Forschung von Nachwuchswissenschaftlern, der sich in einer Forschungslinie widerspiegelt und die Relevanz der Forschung darstellbar macht.

3.4 Konsequenzen der Evaluation

Mögliche Konsequenzen der Evaluation sind a priori klar zu definieren und sollten sich an der Zielsetzung und Aussagekraft der Evaluation orientieren. Sie können neben dem unmittelbaren Feedback und gemeinsamer Diskussion der Ergebnisse im gezielten Einsatz von Instrumenten der Organisations- (z.B. Schwerpunktbildung), Projekt- (z.B. Förderentscheidung) und Karriereplanung (z.B. Berufung, Tenure, Mentoring) liegen, sofern diesem ein ausgewogenes und transparentes Verfahren zugrunde liegt.

Die leistungsorientierte Mittelvergabe ist nur eine von zahlreichen möglichen Konsequenzen der Evaluation und in ihrer Steuerungswirkung umstritten [21]. Besonders wichtig für die in aller Regel intrinsisch hoch motivierten WissenschaftlerInnen ist die Wertschätzung der geleisteten Arbeit. Dabei sollten gleichermaßen Leistungen in der Forschung und der Lehre sowie (in der klinischen Medizin) auch Leistungen in der Krankenversorgung anerkannt werden. Die Anerkennung kann sich auch in der Bereitstellung zeitlicher Ressourcen darstellen. Dagegen läuft ein Übergewicht auf finanziellen Anreizen als extrinsischem Motivator langfristig Gefahr, intrinsische Motivation zu untergraben. Dies gilt insbesondere, wenn die zugrundeliegenden Bewertungsprozesse als intransparent oder ungerecht erlebt werden.

Es wird daher großer Wert auf eine ausreichende Grundausstattung der Einrichtungen gelegt, die jeweils nur in längeren Abständen auf der Basis umfassender Evaluationen an neue Entwicklungen angepasst werden sollte.


Anmerkungen

Danksagung

Das vorliegende Positionspapier basiert auf den Ergebnissen des Berliner Forums der AWMF zum Thema „Methoden zur Evaluation der medizinischen Forschungsleistung“ am 18.10.2013. Auf diesem Forum wurden von den eingeladenen Experten, VertreterInnen zentraler Wissenschaftsorganisationen (Deutsche Forschungsgemeinschaft, Medizinischer Fakultätentag, Projektträger im DLR, Wissenschaftsrat) und TeilnehmerInnen der adhoc-Schreibgruppen Vorschläge erarbeitet, die in anschließenden Diskussionen in der Kommission für Leistungsevaluation in Forschung und Lehre weiterentwickelt und vom AWMF-Präsidium konsentiert wurden. Die Autoren danken allen Mitwirkenden für ihre Beiträge zum vorliegenden Papier. Besondes zu erwähnen sind (in alphabetischer Reihenfolge): Prof. K.-M. Debatin, Prof. R. Deinzer, Prof. W. Glänzel, Prof. C. Graf, Prof. H.-J. Heinze, Prof. S. Hornbostel, Dr. M. Kordel-Bödigheimer, Dr. T. Kostuj, Prof. H. K. Kroemer, Dr. A. Lücke, Prof. P. Meier-Abt, Dr. S. Moritz, Prof. A. F. J. van Raan, Prof. K. Rahn, Prof. G. Theilmeier, Dr. W. Warmuth.

Interessenkonflikte

Die Autoren erklären folgende Interessenkonflikte:

Alle Autoren sind Universitätsangehörige mit zugehörigen Ämtern in Leitung und Selbstverwaltung und Mitglieder wissenschaftlicher Fachgesellschaften, teilweise in leitender Funktion (THL, RDT, CFV). CHL, RDT und CS sind Mitglieder des AWMF-Präsidiums. Alle Autoren sind Autoren wissenschaftlicher Publikationen. Im Zuge der Erstellung dieses Positionspapiers haben CHL, SH, RDT und HJW von der AWMF bzw. einer Mitgliedsgesellschaft Reisekosten zu Sitzungen erhalten. CHL, RDT und CS haben Projektförderungen aus öffentlichen Mitteln erhalten. CHL, SH und RDT haben Fördermittel von Unternehmen bzw. Verbänden der privaten Wirtschaft erhalten. CHL und RDT haben Honorare von Unternehmen der privaten Wirtschaft erhalten. CS war bis Mai 2014 Studiendekanin, RDT ist Prodekan für Forschung. CHL, EB, THL, RDT, CFV und CS sind Herausgeber bzw. Mitherausgeber wissenschaftlicher Zeitschriften. CHL und EB sind Buchherausgeber. CHL, EB, RDT, CFV und CS sind Gutachter für Forschungsförderorganisationen bzw. Stiftungen. THL ist Stiftungsbeirat.

Autorenschaft

Die Nennung der Coautoren erfolgt in alphabetischer Reihenfolge.


Literatur

1.
Frömter E, Brähler E, Langenbeck U, Meenen NM, Usadel KH. Das AWMF-Modell zur Evaluierung publizierter Forschungsbeiträge in der Medizin [The AWMF model for the evaluation of published research papers in medicine. Arbeitsgemeinschaft der wissenschaftlichen medizinischen Fachgesellschaften (Working Group of the Scientific Medical Specialty Societies)]. Dtsch Med Wochenschr. 1999 Jul;124(30):910-5.
2.
Brähler E, Strauss B. Leistungsorientierte Mittelvergabe an Medizinischen Fakultäten : Eine aktuelle Ubersicht [Performance-oriented allocations of financial resources at medical schools: an overview]. Bundesgesundheitsblatt Gesundheitsforschung Gesundheitsschutz. 2009 Sep;52(9):910-6. DOI: 10.1007/s00103-009-0918-1 Externer Link
3.
Vahl CF. Forschungsbewertung: Fairness für forschende Chirurgen: ein Plädoyer. Dtsch Arztebl. 2008;105(12):A-625-8.
4.
Adler R, Ewing J, Taylor P. Citation Statistics – A Report from the International Mathematical Union (IMU) in Cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS). Stat Sci. 2009;24(1):1-14. DOI: 10.1214/09-STS285 Externer Link
5.
Alberts B. Impact factor distortions. Science. 2013 May;340(6134):787. DOI: 10.1126/science.1240319 Externer Link
6.
Glasziou P, Altman DG, Bossuyt P, Boutron I, Clarke M, Julious S, Michie S, Moher D, Wager E. Reducing waste from incomplete or unusable reports of biomedical research. Lancet. 2014 Jan;383(9913):267-76. DOI: 10.1016/S0140-6736(13)62228-X Externer Link
7.
Wissenschaftsrat. Empfehlungen zur Zukunft des Forschungsratings. Drs. 3409-13, Mainz 25.10.2013. Available from: http://www.wissenschaftsrat.de/download/archiv/3409-13.pdf Externer Link
8.
Van Raan AFJ. The use of bibliometric analysis in research performance assessment and monitoring of interdisciplinary scientific developments. Technikfolgenabschätzung – Theorie und Praxis. 2003;12(1):20-9.
9.
Van Raan AFJ. Statistical Properties of Bibliometric Indicators: Research Group Indicator Distributions and Correlations. J Am Soc Inf Sci Technol. 2006;57(3):408-430. DOI: 10.1002/asi.20284 Externer Link
10.
Schulze N, Michels C, Frietsch R, Schmoch U, Conchi S. 2. Indikatorbericht Bibliometrische Indikatoren für den PFI Monitoring Bericht 2013. Hintergrundbericht für das Bundesministerium für Bildung und Forschung (BMBF). Berlin, Karlsruhe, Bielefeld: Institut für Forschungsinformation und Qualitätssicherung (iFQ), Fraunhofer-Institut für System- und Innovationsforschung ISI und Universität Bielefeld, Institut für Wissenschafts- und Technikforschung (IWT); 2012 [cited 23.6.2014]. Available from: http://www.bmbf.de/pubRD/Indikatorbericht_PFI_2013.pdf Externer Link
11.
Van Raan AFJ. Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups. Scientometrics. 2006;67(3):491-502. DOI: 10.1556/Scient.67.2006.3.10 Externer Link
12.
Glänzel W, Wouters P. The dos and don’ts in individual level bibliometrics. Paper presented at the 14th ISSI Conference, Vienna, 15-18 July 2013. Available from: http://de.slideshare.net/paulwouters1/issi2013-wg-pw Externer Link
13.
Frank JR, Danoff D. The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Med Teach. 2007 Sep;29(7):642-7. DOI: 10.1080/01421590701746983 Externer Link
14.
Basu Ray I, Henry TL, Davis W, Alam J, Amedee RG, Pinsky WW. Consolidated academic and research exposition: a pilot study of an innovative education method to increase residents' research involvement. Ochsner J. 2012;12(4):367-72.
15.
Gaehtgens C. Clinical Scientist – Neue Karrierewege in der Hochschulmedizin. Werkstattgespräch am 27.-28.9.2013 in Schloss Herrenhausen, Hannover. Ergebnisse und Schlussfolgerungen. [cited 20.5.2014]. Available from: http://www.volkswagenstiftung.de/fileadmin/downloads/publikationen/veranstaltungsberichte/Veranstaltungsbericht_Clinical_Scientist.pdf Externer Link
16.
Bierer SB, Chen HC. How to measure success: the impact of scholarly concentrations on students--a literature review. Acad Med. 2010 Mar;85(3):438-52. DOI: 10.1097/ACM.0b013e3181cccbd4 Externer Link
17.
Sullivan R, Badwe RA, Rath GK, Pramesh CS, Shanta V, Digumarti R, D'Cruz A, Sharma SC, Viswanath L, Shet A, Vijayakumar M, Lewison G, Chandy M, Kulkarni P, Bardia MR, Kumar S, Sarin R, Sebastian P, Dhillon PK, Rajaraman P, Trimble EL, Aggarwal A, Vijaykumar DK, Purushotham AD. Cancer research in India: national priorities, global results. Lancet Oncol. 2014 May;15(6):e213-22. DOI: 10.1016/S1470-2045(14)70109-3 Externer Link
18.
Kelley WN, Stross JK. Faculty tracks and academic success. Ann Intern Med. 1992 Apr;116(8):654-9. DOI: 10.7326/0003-4819-116-8-654 Externer Link
19.
Wissenschaftsrat. Empfehlungen zur Bewertung und Steuerung von Forschungsleistung. Drs. 1656-11, Halle 11.11.2011. Available from: http://www.wissenschaftsrat.de/download/archiv/1656-11.pdf Externer Link
20.
Bundesärztekammer. Curriculum Ärztliches Peer Review. 2. Auflage. Berlin: Bundesärztekammer; 2013. (Texte und Materialien der Bundesärztekammer zur Fortbildung und Weiterbildung; 30). Available from: http://www.bundesaerztekammer.de/downloads/CurrAerztlPeerReview2013.pdf Externer Link
21.
Krempkow R, Schulz P. Welche Effekte hat die leistungsorientierte Mittelvergabe? Das Beispiel der medizinischen Fakultäten Deutschlands. Hochschule. 2012;(2):122-42.