gms | German Medical Science

Seit 5 Jahren erhöhen sich die Mitgliederzahlen der Gesellschaft für Medizinische Ausbildung (GMA) jedes Jahr um durchschnittlich 20%, sie liegen derzeit bei rund 780 Mitgliedern. Unter den Mitgliedern befinden sich u.a. Human-, Zahn- und Tiermediziner¹, Psychologen, Biologen, Pädagogen und Studierende. Die Anzahl der Zugriffe auf die GMA-Zeitung der GMS Z Med Ausbild erhöhte sich von 300.000 im Jahr 2007 auf 430.000 im Jahr 2009. Um den Interessen ihrer Mitglieder gerecht zu werden, werden in der GMS Z Med Ausbild Themen aus der „Aus-, Weiter- und Fortbildung in der Medizin, Medizindidaktik, Erwachsenenbildung, Qualitätsmanagement in der Lehre, pädagogischen Psychologie (soweit für die Medizinerausbildung relevant), Bildungspolitik und Hochschullehre“ (http://www.egms.de/de/journals/zma/authors.htm) veröffentlicht. Als Zielgruppe werden „alle mit der Hochschullehre befassten Personen und die interessierte Öffentlichkeit genannt“ (http://www.egms.de/de/journals/zma/authors.htm).

Die Leser und ihre Interessen werden durch den Herausgeber vertreten. Um den Herausgeber bei seiner Entscheidung zu unterstützen und die Qualität der eingereichten Manuskripte zu erhöhen [1], [2], werden Übersichten, Originalarbeiten, Projekte sowie Kommentare von engagierten Personen aus der medizinischen Ausbildung begutachtet. Ziel des Artikels ist die Darstellung der Aufgaben eines Gutachters inklusive der Empfehlungen für die Begutachtung bei der GMS Z Med Ausbild. Dieser Artikel bezieht sich als Positionspapier des Ausschusses auf internationale Standards unter besonderer Berücksichtigung der Situation der medizinischen Ausbildungsforschung in Deutschland. Er entstand in enger Zusammenarbeit mit Gutachtern der GMS Z Med Ausbild.

Qualitativ hochwertige Studien erleichtern nicht nur die Beurteilung durch Fachgutachter und Herausgeber, sondern haben auch später einen höheren Nutzen für die Leser [3]. Oft fehlt den eingereichten Manuskripten jedoch ein kritischer Überblick über die Literatur, ein konzeptuelles Rahmenwerk, eine Aussage zum Studiendesign, eine Definition der Vergleichs- bzw. Kontrollgruppe oder Anmerkungen zu ethischen Aspekten [2]. Bordage [4] zählte 1997 und 1998 Ablehnungs- und Annahmegründe von eingereichten Forschungsmanuskripten bei der Research in Medical Education Conference. Die am häufigsten genannten Ablehnungsgründe waren eine unzureichende Statistik (11,2%), Überinterpretation der Ergebnisse (8,7%), ungeeignete Instrumente (7,3%), zu kleine bzw. verzerrte Stichproben (5,6%), schwer lesbare Texte (3,9%), unzureichende Datenbeschreibung (3,9%), Problembeschreibung (3,4%), Literaturüberblick (3,1%), Datenpräsentation(2,7%) und Tabellen/Abbildungen (2,5%). Gründe für die Annahme von Manuskripten waren: bedeutendes Thema (20,2%), gut geschrieben (18,3%), gutes Studiendesign (10,3%), aktueller Literaturüberblick (6,7%), Stichprobe groß genug (4,4%), praktische Implikationen (4,4%), Limitationen in der Interpretation (4,4%), gut dargestelltes Problem (3,6%) und neuartiger Zugang der Analyse (3,6%).

Eine Verbesserung der Qualität könnte durch die Einhaltung von Leitlinien bzw. Checklisten beim Schreiben von Manuskripten erreicht werden [3]. Checklisten bieten nicht nur Gutachtern den Vorteil, dass sie den Artikel schneller lesen und kritisch bewerten können und die Systematik viel leichter zugänglich ist. Vielmehr können Gutachter durch die einfache Strukturierung leichter auf etwaige Mängel in der Darstellung hinweisen. Auch Autoren erhalten durch Checklisten aktive Hilfe in der Planungsphase [5].

Checklisten für die Begutachtung gibt es bei verschiedensten Zeitschriften zum Thema medizinische Ausbildung, wie bei der Academic Medicine, Medical Education, Applied Behavioral Science, New England Journal of Medicine, The Lancet und Annals of Internal Medicine [6]. Medical Education bietet neben einer Checkliste auch ein Mentoringprogramm für Gutachter an [7].

Durch die erfreuliche Zunahme der Mitgliederzahlen in der GMA, die neuen Möglichkeiten zur Gestaltung des Medizinstudiums im Rahmen der Approbationsordnung für Ärzte von 2002 und die Verbreitung von professionellen Abschlüssen in der medizinischen Ausbildungsforschung im deutschsprachigen Raum herrscht eine gewisse „Aufbruchstimmung“ in der medizinischen Ausbildungsforschung.

In den letzten Jahren ist die Anzahl eingereichter Originalarbeiten bei der GMS Z Med Ausbild und der Anteil abgelehnter Manuskripte kontinuierlich angestiegen (siehe Tabelle 1 [Tab. 1]).

Auf der Jahrestagung der GMA 2007 führte der Ausschuss für Methodik der Ausbildungsforschung einen Workshop zum Thema „Wie begutachte ich ein Manuskript zur Ausbildungsforschung in der Medizin?“ durch. Ziel dieses Workshops war es, gemeinsame Empfehlungen für die Begutachtung von Manuskripten speziell für die medizinische Ausbildungsforschung zu entwickeln. Ergebnis des Workshops war, dass Gutachter einen Bedarf an einheitlichen Kriterien zur Begutachtung von Manuskripten in der medizinischen Ausbildungsforschung sahen. Um ein genaueres Bild von den Wünschen und Bedürfnissen aller Gutachter der GMS Z Med Ausbild zu erhalten, führten wir im Anschluss an den Workshop eine Befragung der Zielgruppe durch.

Im Jahr 2008 erhielten alle 119 Gutachter der GMS Z Med Ausbild einen Fragebogen (siehe Anhang 1 [Anh. 1]). Dieser enthielt allgemeine Fragen zur Gutachtertätigkeit (seit wann sie begutachten, Anzahl begutachteter Manuskripte in den letzten zwei Jahren, Erfahrung mit Manuskripten aus der Ausbildungsforschung), Fragen zur Qualität der begutachteten Manuskripte (5-stufiges Rating von gering bis hoch), Fragen zu Mängeln begutachteter Manuskripte (5-stufiges Rating von selten bis häufig), Fragen zu Anforderungen an ein Manuskript (5-stufiges Rating von gering bis hoch) und offene Fragen zu Verbesserungspotentialen und den Wünschen für eine Optimierung des Begutachtungsprozesses.

Von den 119 befragten Gutachtern schickten 24 eine Antwort. Der hauptsächliche Tätigkeitsbereich der Gutachter liegt in der Lehre, gefolgt von Klinik und Forschung. Die wenigsten Begutachter geben ihren hauptsächlichen Tätigkeitsbereich in der Vorklinik an. Die Gutachter gaben eine unterschiedliche Dauer der Erfahrung mit Begutachtungen von Manuskripten an. Nur 25% hatten weniger als 3 Jahre Erfahrung. In den letzten beiden Jahren begutachtete die Hälfte von ihnen 5-12 Manuskripte.

Die Deskriptivstatistiken des Fragebogens sind in den folgenden Tabellen aufgeführt. In den Abbildungen 1 [Abb. 1] und 2 [Abb. 2] sind aufgrund des ordinalen Datenniveaus Mediane und wenn passend Perzentile aufgeführt. Das 25%-Perzentil gibt an, bis zu welchem Wert die „schlechtesten“ 25% der Antworten waren. Der Median (50%-Perzentil) gibt die mittleren Antworten an und das 75%-Perzentil zeigt die unterste Grenze der 25% „besten“ Antworten.

Zur besseren Verständlichkeit der folgenden Abbildungen und Tabellen ist zusätzlich der Fragebogen als Anhang 1 [Anh. 1] angeführt.

Bei den Freitextfragen wurden ähnliche Aussagen zusammengefasst und die Aussagen gezählt. Die Ergebnisse sind in Tabelle 2 [Tab. 2] abgebildet.

Der GMS Z Med Ausbild steht mit dem Manuscript Operating System (MOPS) auf dem Portal der German Medical Science ein Begutachtungsformular zur Verfügung. Es beinhaltet Ratingfragen mit den Abstufungen ja-nein-unsicher-nicht anwendbar. Es werden Fragen zu Inhalt und Form gestellt. Zusätzlich enthält es Felder für allgemeine und spezifische Kommentare für den Autor/die Autorin. Dazu gehört sowohl die allgemeine wissenschaftliche Beurteilung als auch spezifische Kommentare, welche sich auf bestimmte Seiten und Zeilen des eingereichten Manuskripts beziehen. Es folgt ein Feld „Erklärung für die Redaktion“. In der abschließenden Beurteilung kann der Gutachter das Manuskript in der vorliegenden Form annehmen, nach Überarbeitung annehmen, mit Möglichkeit der Neueinreichung ablehnen oder (definitiv) ablehnen. Der Autor erhält als Rückmeldung die allgemeinen und spezifischen Kommentare. Die Begutachtungskriterien und ihre Bewertung sind ihm nicht zugänglich.

Die Ergebnisse der Umfrage unter den 24 von 119 befragten Gutachtern der GMS Z Med Ausbild zeigen, dass die Qualität der begutachteten Manuskripte im Median als mittelmäßig beurteilt wird, wobei die Erfahrungsberichte/ Projekte und die Originalarbeiten eine große qualitative Bandbreite aufweisen. Besonders häufig zeigen sich Mängel in der statistischen Auswertung und im Studiendesign, wie es auch in anderen Zeitschriften berichtet wird [4]. Besonders wichtige Kriterien für die Gutachter sind Objektivität, Studiendesign und Schlussfolgerungen. Die befragten Gutachter gaben an, dass bei den eingereichten Manuskripten insbesondere die Darstellung von Neuem und Nützlichem in der Diskussion verbessert werden muss. Weiterhin besteht der Wunsch nach konkreten Anleitungen für die Autoren und die Beachtung der selbigen. Die dem Beurteilungsprozess zu Grunde liegenden Kriterien sollten klarer formuliert und den Autoren transparent gemacht werden. Es wäre wünschenswert, wenn die Manuskripte intensiver vorbegutachtet würden und genügend Zeit für die Bearbeitung zur Verfügung stünde.

Bei der Bewertung der Umfrageergebnisse muss beachtet werden, dass die Umfrage bereits 2008 durchgeführt wurde und nur 20% aller Gutachter den Fragebogen beantwortet haben. Aufgrund der geringen Rücklaufquote können Selektionsartefakte nicht ausgeschlossen werden. Insgesamt war die Erfahrung in der spezifischen Begutachtung von Manuskripten in der medizinischen Ausbildung eher gering. Ziel der Befragung war jedoch, inhaltliche Aspekte der Begutachtung stärker zu beleuchten und weitere Anregungen für die Verbesserung des Begutachtungsprozesses zu erhalten. Insofern konnten besonders die eher qualitativen Kommentare der Antworteten dazu genutzt werden, die Ergebnisse des Workshops zu ergänzen und zu erweitern.

Aus den Ergebnissen des Workshops, der Umfrage und kritischen Reflexion des bislang bestehenden MOPS-Formulars konnten folgende Wünsche an ein Positionspapier abgeleitet werden: Definition der Aufgaben eines Gutachters der GMS Z Med Ausbild, Empfehlungen für den Begutachtungsprozess, Überarbeitung des Beurteilungsschemas für Gutachter und Überarbeitung der Autorenrichtlinien. Die Überarbeitung der Autorenrichtlinien ist nicht Gegenstand dieses Positionspapiers.

Zu den Aufgaben des Gutachters zählen die Unterstützung der Entscheidung des Herausgebers, das Feedback für den Autor, die Förderung der Wissenschaftlichkeit sowie der fachwissenschaftlichen Öffentlichkeit und die Stärkung des nationalen und internationalen Ansehens der Zeitschrift (s. auch [8]). Der Gutachter sollte nicht nur die aktuelle Fachliteratur in seinem Spezialgebiet kennen, sondern auch sicher sein im Umgang mit der wissenschaftlichen Methodik. Für das Gutachten sollte er sich ungefähr drei Stunden Zeit nehmen [9], [10].

1. Unterstützung der Entscheidung des Herausgebers

Der Gutachter hilft dem Herausgeber bei der Auswahl des Manuskripts und macht Vorschläge für die Veränderungen, die den Autoren helfen, ihre Botschaft dem Leser präzise und prägnant zu präsentieren. Der Herausgeber gewichtet die verschiedenen Meinungen der Gutachter, bewertet die Wichtigkeit und berücksichtigt einen möglichen Bias. Der Gutachter sollte das vorliegende Manuskript daher sorgfältig bewerten, seine wissenschaftliche Qualität bestimmen und in die aktuelle Literatur einordnen [9].

Zur Unterstützung der Entscheidung des Herausgebers hat sich die Berücksichtigung bestimmter Kriterien bewährt [4], [11], [12]. Diese decken sich mit den Anforderungen für Begutachtungsprozesse im deutschsprachigen Raum (siehe Abbildung 1 [Abb. 1]). Sie teilen sich in Haupt- und Nebengütekriterien. Die Nicht-Einhaltung der Hauptgütekriterien muss zu einer sofortigen Ablehnung des Artikels führen, da sie Beanstandungen beschreiben, die nicht korrigiert werden können:

• Artikel nicht wichtig (Publikation verzichtbar, nicht zeitgemäß, irrelevant)
• Studiendesign ist inadäquat (z.B. Querschnittsdesign zum Nachweis von Veränderung)
• Methode inkl. Statistik ist inadäquat (z.B. Stichproben zu klein, Auswahl „verzerrt“)

Die Nicht-Einhaltung der Nebengütekriterien bedarf einer Korrektur:

• Unzureichende oder unvollständige Darstellung des Problems
• Methode unzureichend beschrieben
• Statistik: unvollständig, unzureichend beschrieben
• Inkonsistente oder ungenaue Darstellung der Daten
• Datendarstellung nicht umfangreich genug
• Überinterpretation der Ergebnisse
• Kein Mehrwert für den Leser herausgearbeitet (Take-Home-Message)
• Schwer verständlicher oder nachzuvollziehender Text
• Fehlerhafte Abbildungen oder Tabellen
• Unpassende, unvollständige, ungenaue oder veraltete Literatur zitiert

Die Kriterien sind immer entsprechend der Art der Publikation anzuwenden (http://www.egms.de/de/journals/zma/authors.htm).

2. Feedback für den Autor

Der Gutachter soll das vorliegende Manuskript nicht nur beurteilen, sondern in sein Gutachten auch Vorschläge für die bessere Präsentation der Daten schreiben [9]. Der Gutachter soll sein Manuskript nicht als zusammenfassendes Urteil an den Herausgeber schreiben, sondern dem Autor nützliche Hinweise geben [13], [9]]. Um ein Gutachten zu schreiben, sollte sich der Gutachter zwei grundlegende Fragen stellen: Habe ich etwas Neues gelernt? Wie kann ich dem Autor helfen, den Artikel so zu überarbeiten, dass ich die Arbeit besser verstehe [7]? Eine wichtige Funktion des Begutachtungsverfahrens liegt also darin, den Autorinnen und Autoren eine konstruktive Rückmeldung (Feedback) zu ihrem Manuskript zu geben. Diese Rückmeldung muss Schwächen und Stärken der Arbeit aufzeigen, so dass es dem Autor ermöglicht wird, Gutes beizubehalten und Verbesserungswürdiges zu verbessern. Hier mag die Beachtung folgender Feedback-Regeln hilfreich sein:

• Am Anfang sollte eine Zusammenfassung stehen, in der auch Positives beschrieben wird. Dies signalisiert Wertschätzung und mag helfen, vermeintliche Missverständnisse frühzeitig aufzudecken.
• Feedback geben, bedeutet Informationen zurück zu melden. Der Gutachter sollte die eigene Wahrnehmung beschreiben und darlegen, wie etwas verstanden wurde. Geeignet sind daher „Ich“- Sätze. Die Formulierungen sollten klar und eindeutig sein.
• Es sollten positive und problematische Aspekte genannt werden, wobei es sich empfiehlt, mit Positivem zu beginnen.
• Feedback wird besser angenommen, wenn es konstruktiv und konkret formuliert ist. Konkrete Beispiele sollten benannt werden, Allgemeinplätze, tief greifendes Analysieren und Interpretieren, moralische Bemerkungen oder allgemeine Deutungen sollten vermieden werden.
• Das Feedback sollte offen, ehrlich und nicht verletzend sein und konstruktive Verbesserungsvorschläge enthalten.

Wir sind uns bewusst, dass die Begutachtung sehr zeitaufwändig ist. Dennoch ist es wünschenswert, ein Gutachten auch dann umfassend zu erstellen, wenn schon frühzeitig offensichtlich ist, dass die zu begutachtende Arbeit nicht publikationsfähig sein wird (z.B. Nichterfüllung von o.g. Hauptkriterien).

3. Förderung der Wissenschaftlichkeit und fachwissenschaftlichen Öffentlichkeit

Forschung und Wissenschaft dient dem Erkenntnisgewinn. Forschungsvorhaben oder eben die Entscheidung, in einem bestimmten Bereich nicht weiter zu forschen, gründen sich maßgeblich auf bereits publizierte Daten. Dem entsprechend ist die Veröffentlichung von Forschungsergebnissen eine verantwortungsvolle Aufgabe. Daneben darf nicht vergessen werden, dass auch der Austausch von Erfahrungen und (nicht getesteten) Ideen die wissenschaftliche Diskussion bereichern kann und ggf. als Ausgangspunkt wertvoller Forschung dient. Herausgebern und Gutachtern kommen im Begutachtungsprozess also Aufgaben zu, die über eine reine „Qualitätskontrolle“ hinausgehen. Durch das Setzen von Mindest-Standards wird die Publikationsfähigkeit von Forschungsergebnissen, Konzeption und Durchführung wissenschaftlicher Arbeiten im Bereich der Medizinischen Ausbildung weiter verbessert.

4. Stärkung des nationalen und internationalen Ansehens der Zeitschrift

Die Zeitschrift GMS Z Med Ausbild ist das bislang einzige deutschsprachige Publikationsorgan mit rein medizindidaktischem Fokus. Diese Position gilt es zu festigen und auszubauen. Zahlreiche – teils qualitativ hochwertige - Studien mit medizindidaktischem Fokus aus dem deutschsprachigen Raum werden derzeit in internationalen Zeitschriften oder fachspezifischen Organen publiziert und entgehen somit der Aufmerksamkeit der GMA Mitglieder. Die Attraktivität zur Publikation dieser Studien in der GMS Z Med Ausbild kann dadurch gesteigert werden, dass das internationale Ansehen der Zeitschrift gesteigert wird. Dies erfordert einen den internationalen Standards entsprechenden Begutachtungsprozess, der eine gleichbleibend hohe Qualität der publizierten Studien ermöglicht. Ein deutschsprachiges Fachorgan zur Medizindidaktik dient nicht zuletzt auch dazu, die Akzeptanz dieser jungen Disziplin im deutschsprachigen Raum bei anderen medizinischen Fachgesellschaften und die Rolle der Lehre in der Medizin insgesamt zu stärken.

1. Vorbearbeitung durch den Herausgeber

Die eingereichten Artikel werden durch den Herausgeber nach Dringlichkeit der Veröffentlichung, Einhaltung formaler Kriterien und Rechtschreibung vorbegutachtet. Der Herausgeber prüft dabei auch die Selbstangabe der Publikationsform, ggf. verändert er das Format (z.B. kann aus einer Originalarbeit ein Projekt werden). Er bestimmt die Gutachter nach dem Inhalt des Manuskripts und beachtet dabei das jeweilige Fachgebiet des Gutachters. Grundsätzlich sollten zwei Gutachter zu Rate gezogen werden. Stehen sich die Aussagen beider Gutachter diametral entgegen, sollte die Meinung eines Dritten hinzugezogen werden. Drei Wochen sollten für die Begutachtungszeit als Richtlinie festgelegt werden.

2. Schreiben von Gutachten

Ein exaktes Gutachten beinhaltet eine übergreifende Beurteilung, die darlegt, wie der Gutachter das Manuskript verstanden hat. Darüberhinaus werden Zusammenfassung, Einführung, Materialien und Methoden, Ergebnisse, Diskussion, Literatur, Tabellen/Abbildungen inkl. Legenden im Detail kritisch reflektiert und mit Verbesserungsvorschlägen versehen. Es folgt eine abschließende Schlussfolgerung mit dem Hinweis auf die Publikationsfähigkeit des Manuskripts. Dieser letzte Abschnitt wird vertraulich behandelt [9].

Ein Vorschlag für eine neue Checkliste im Online-Begutachtungssystem der GMS wurde von Autoren dieses Papiers ausgearbeitet und ist als Anhang beigefügt (siehe Anhang 2 [Anh. 2]). Die Checkliste ist im Schwerpunkt auf die Begutachtung von Originalarbeiten und Projektberichten ausgerichtet. Bei der Begutachtung anderer Formate muss möglicherweise auf das Item „nicht zutreffend“ zurückgegriffen werden.

Die Checkliste umfasst in Kurzform alle relevanten, oben genannten Aspekte der Begutachtung und ist mit einer fünfstufigen Skala versehen. Sie ermöglicht es, auf einfache Art und Weise ein strukturiertes, an objektivierbaren Kriterien bemessenes Gutachten zu erstellen. Jeder einzelne Aspekt kann mit Freitextkommentaren versehen werden und bietet daher die Möglichkeit für ein detailliertes, konstruktives Feedback. Es schließt sich die Entscheidung mit einem Hinweis zur Dringlichkeit der Veröffentlichung an. Die Begutachtungskriterien, die an eine wissenschaftliche medizinische Publikation anzulegen sind, wurden bei der Entwicklung der Checkliste berücksichtigt. Die Checkliste beinhaltet zusätzlich Feedback-Regeln. Es kann sowohl den Autoren als auch der Redaktion eine Rückmeldung gegeben werden. Die Rückmeldungen an die Redaktion können unter anderem bei bestehenden Interessenskonflikten von Bedeutung sein.

Der Autor erhält das gesamte ausgefüllte Begutachtungsformular zurück (exklusive der Rückmeldung an die Redaktion). Dies erhöht die Transparenz des Begutachtungsprozesses.

Die vorliegenden Empfehlungen sollen dazu beitragen, den gutachterlichen Prozess in der GMS Z Med Ausbild voranzubringen und die Qualität der Begutachtung ebenso zu steigern wie die Qualität der künftig eingereichten Arbeiten. Bei der Erarbeitung der Empfehlungen sind die Meinungen und Erfahrungen der Mitglieder des GMA-Ausschusses für Methodik der Ausbildungsforschung, einer Gruppe von Gutachtern der GMS Z Med Ausbild sowie die internationale Literatur eingeflossen. Die Verbesserung der wissenschaftlichen Qualität im Bereich der Medizinischen Ausbildung ist Zukunftsaufgabe aller Mitglieder der Gesellschaft für Medizinische Ausbildung.

K. Schüttpelz-Brauns führte zusammen mit C. Kiessling und S. Schubert den Workshop durch und schrieb die Einführung. A. Herrler und K. Schüttpelz-Brauns entwickelten den Fragebogen für die Gutachter, führten die Befragung durch, werteten die Antworten aus und interpretierten sie. A. Herrler und B. Huenges beschrieben die nationale Situation. C. Stosch, J. Matthes und M. Himmelbauer erarbeiteten die Empfehlungen. C. Kiessling schrieb den Abschnitt zum Autoren-Feedback. C. Bachmann und S. Huwendiek erstellten die neue Fassung der Checkliste für Gutachter der Z Med Ausbild. K. Schüttpelz-Brauns, C. Bachmann und C. Kiessling überarbeiteten das ursprüngliche Manuskript vollständig. Alle Autoren waren an der Korrektur der endgültigen Fassung dieses Manuskripts beteiligt.

¹Bei Verwendung der männlichen ist selbstverständlich auch die weibliche Form gemeint.

Wir danken Sebastian Schubert und Jörg Marienhagen für die Durchsicht des ersten Manuskripts und konstruktiver Vorschläge, die zu einer umfassenden Überarbeitung führten. Ebenfalls danken wir André Schüttpelz für die Erstellung der Boxplots in Matlab.

Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.