gms | German Medical Science

Das Medizinstudium muss höchsten Qualitätsstandards genügen, da die Absolventen medizinischer Fakultäten – in erster Linie Ärztinnen und Ärzte – große Verantwortung tragen. Zur Bewertung der Qualität der Lehre werden an allen deutschen medizinischen Fakultäten Evaluationen durchgeführt. Die Deutsche Gesellschaft für Evaluation hat bereits vor über zehn Jahren Standards für die Evaluation der Hochschullehre festgelegt. Diesen zufolge müssen Evaluationsinstrumente eine faire, genaue und verlässliche Beurteilung der Lehrqualität erlauben [1]. Auch ist zu berücksichtigen, dass das Medizinstudium einige Besonderheiten gegenüber anderen Studiengängen aufweist [2], [3], beispielweise wenig Freiheiten bezüglich der Kurswahl sowie spezifische Unterrichtsformen wie das Problem-orientierte Lernen (POL) oder der Unterricht am Krankenbett (UaK). Selbst in scheinbar allgemeintypischen Veranstaltungstypen wie Vorlesungen können Besonderheiten wie Patientenvorstellungen auftreten. Somit ist fraglich, ob Evaluationsinstrumente aus anderen Studiengängen problemlos auf die Lehre im Medizinstudium übertragbar sind. Grundsätzlich muss zur Beurteilung der Reliabilität und insbesondere der Validität der eingesetzten Verfahren zunächst bekannt sein, welches Konstrukt von „guter Lehre“ einem Evaluationsinstrument zugrunde liegt. In der vorliegenden Arbeit werden die Ergebnisse einer breit angelegten Literaturrecherche zum Thema „Evaluation im Studium der Humanmedizin“ vorgestellt, die von der Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF) finanziert wurde. Die Ergebnisse wurden im Anschluss an die Recherche in einem gemeinsamen Gremium der AWMF und des Medizinischen Fakultätentags diskutiert. Im Rahmen der Literaturrecherche sollten folgende Leitfragen beantwortet werden:

1.

In welchen Dimensionen kann die Qualität der medizinischen Lehre erfasst werden?

2.

Welche Instrumente kommen derzeit zum Einsatz und welche Zielgrößen werden von ihnen betrachtet?

3.

Welche psychometrischen Eigenschaften besitzen diese Erhebungsinstrumente?

4.

Was ist bei der Konstruktion von Fragebögen für die Evaluation im Medizinstudium zu beachten, und welche Störgrößen müssen bei der Interpretation der Ergebnisse berücksichtigt werden?

Zur Beantwortung der genannten Forschungsfragen erfolgte eine breit angelegte Literaturrecherche, in die publizierte Original- und Übersichtsarbeiten, Dissertationen sowie so genannte „Graue Literatur“ in deutscher und englischer Sprache einbezogen wurden. In einer Schlagwortsuche in Pubmed, PsycINFO und PSYNDEX (Begriffe: „medical education“, „undergraduate medical education“, „medical curriculum“ kombiniert mit „evaluation“, „evaluation of teaching effectiveness“ und „student ratings“ bzw. die analogen deutschen Begriffe: „Medizinische Ausbildung“, „Medizinstudium“/„Studium der Medizin“, „medizinisches Curriculum“, „Evaluation“, „Lehrevaluation“, „studentische Bewertungen“) wurden zunächst relevante Arbeiten identifiziert, die seit Beginn der Erfassung in den jeweiligen Datenbanken bis zum 30.6.2011 publiziert wurden.

Eine Durchsicht der Literaturverzeichnisse dieser Arbeiten lieferte Hinweise auf weitere relevante Beiträge. Des Weiteren fand eine Suche direkt in den Online-Archiven folgender Zeitschriften statt: Deutsche Medizinische Wochenschrift, GMS Zeitschrift für Medizinische Ausbildung, Hochschulmanagement, Qualität in der Wissenschaft sowie Wissenschaftsmanagement. Ebenfalls wurde persönlichen Literaturempfehlungen von Experten auf dem Gebiet der medizinischen Ausbildungsforschung gefolgt und mittels der allgemeinen Internetsuchmaschine Google gesucht. Die Literatur wurde im Hinblick auf die Forschungsfragen gesichtet, bis eine inhaltliche Sättigung erreicht war (d.h. bis keine neuen inhaltlichen Aspekte mehr identifiziert werden konnten).

Aus den identifizierten Publikationen wurden in einer zweiten, tiefergehenden Durchsicht diejenigen Arbeiten extrahiert, aus denen Antworten auf die vier oben genannten Forschungsfragen abgeleitet werden konnten. Die inhaltliche Extraktion erfolgte anhand einer Vorlage, in die jeweils die betrachtete Dimension der Lehrqualität und das genutzte Datenerhebungsinstrument (falls verfügbar mitsamt den psychometrischen Eigenschaften, insbesondere Cronbach’s α) eingetragen wurde.

Insgesamt wurden 116 Arbeiten gefunden, davon 46 in Pubmed, 22 in PsycINFO und vier in PSYNDEX. Des Weiteren konnten 28 Arbeiten in Online-Archiven der oben genannten deutschen Zeitschriften, identifiziert werden. Die übrigen 16 Arbeiten wurden als Sekundärliteratur, Empfehlung oder durch allgemeine Internetsuchmaschinen gefunden. Eine komplette Liste der 116 Artikel ist in Anhang 1 [Anh. 1] verfügbar. Viele dieser Arbeiten waren jedoch nicht auf die medizinische Lehre bezogen, sondern enthielten eher allgemeine, für die Evaluation in der Hochschullehre relevante, Betrachtungen. Zudem fanden sich nicht in allen Arbeiten konkrete Antworten auf die oben formulierten Forschungsfragen. Zur Beantwortung der ersten drei Forschungsfragen wurde auf die Inhalte derjenigen 30 Volltext-Arbeiten zurückgegriffen, die einen direkten Bezug zum Medizinstudium aufwiesen. Hinsichtlich der vierten Forschungsfrage fanden sich in der medizinspezifischen Literatur kaum verwertbare Ergebnisse, so dass zu diesem Punkt auch die nicht-medizinspezifische Literatur einbezogen wurde (14 weitere Arbeiten). In der Komplettliste der 116 Volltext-Artikel wurden die Artikel gekennzeichnet, die zur Beantwortung der einzelnen Forschungsfragen herangezogen wurden.

Aufgrund der inhaltlich breit angelegten Forschungsfragen und folglich hohen inhaltlichen und strukturellen Heterogenität der eingeschlossenen Arbeiten entschieden wir uns für eine narrative Darstellung der Ergebnisse. Dieses Vorgehen wird aktuell für Übersichten empfohlen, in denen überwiegend quasi-experimentelle Studien berücksichtigt werden. In diesem Kontext erscheinen numerische Auswertungsverfahren (z.B. Meta-Analysen) zur Bearbeitung entsprechender Fragestellungen nicht optimal, da hierdurch das Spektrum der abgedeckten Inhalte unnötig eingeengt wird [4]. Nach aktueller medizindidaktischer Lehrmeinung [5] können narrative Übersichten bei guter wissenschaftlicher Durchführung einen höheren Informationsgehalt bieten als gemittelte Kennzahlen.

Die Präsentation orientiert sich an den vier oben genannten Fragen und wird innerhalb der ersten drei Forschungsfragen nach den vier verschiedenen Dimensionen der Lehre gegliedert, die im Folgenden genauer dargestellt werden.

Alle in der publizierten Literatur beschriebenen Zielparameter zur Bewertung der Lehrqualität lassen sich einer von vier Dimensionen zuordnen [6]: Auf curricularer Ebene können sowohl strukturelle als auch prozedurale Kenngrößen der Lehre betrachtet werden; als drittes Qualitätskriterium stehen Dozenten-spezifische Charakteristika, als vierte Dimension das Ergebnis der Lehre zur Verfügung. Die Strukturdimension umfasst beispielweise die räumliche Ausstattung der Lehre, Arbeitsmaterialien sowie die Konzeption des Studiums. Der Lehrprozess meint Aspekte wie Interaktion oder Lehr-/Lernatmosphäre. Dozentenspezifische Charakteristika können unter anderem das didaktische Geschick sowie die Vorbereitung, aber auch der von den Studierenden wahrgenommene Enthusiasmus von Lehrenden sein. Die Ergebnisdimension beschreibt Aspekte wie den Lernerfolg und Entwicklung professioneller Einstellungen durch die Lehre.

Lehrbezogene Strukturen und Prozesse werden von vielen publizierten Evaluationsinstrumenten erfasst (siehe Frage 2), zumal die Datenerhebung und -auswertung leicht automatisierbar ist. Die reliable und valide Bewertung der Lehrleistung individueller Dozenten ist weitaus komplexer. Insbesondere aufgrund möglicher Konsequenzen solcher Evaluationsergebnisse für die Karriere wissenschaftlicher Mitarbeiter müssen die entsprechenden Instrumente besonders hohen psychometrischen Ansprüchen genügen.

Eine Beurteilung der Lehrqualität anhand der im Rahmen der Lehre erzielten Ergebnisse erscheint intuitiv. Blumberg [7] schlägt diesbezüglich drei Qualitäten vor: Als „educational outcome“ bezeichnet die Autorin die Entwicklung von Fertigkeiten zum eigenständigen lebenslangen Lernen. Unter „clinical career outcomes“ werden die für den Arztberuf erforderlichen Kompetenzen zusammengefasst (siehe auch [8]). Unter „environmental outcomes“ versteht Blumberg die Ausbildung einer professionellen Einstellung zur Lehre selbst – in dem Sinne, dass Absolventen die Weitergabe von Wissen und Fertigkeiten als eigene professionelle Aufgabe im Beruf verstehen und somit das Klima an Ausbildungsstätten prägen. Bislang fehlt aber ein allgemein anerkanntes Konzept zur Operationalisierung dieser “educational outcomes“.

Die folgende Darstellung der Zielgrößen und Erhebungsinstrumente orientiert sich wie oben bereits erwähnt an vier Dimensionen der Lehrqualität: Struktur, Prozess, Dozent und Ergebnis. Da eine trennscharfe Zuordnung der vier Dimension zu den einzelnen Instrumenten (und umgekehrt) nicht immer möglich ist, werden die verfügbaren Instrumente im Kontext derjenigen Dimension erörtert, auf die sie in erster Linie abzielen. Eine Zusammenschau aller identifizierten medizinspezifischen Instrumente bietet Tabelle 1 [Tab. 1].

Lehrbezogene Strukturen und Prozesse werden vorrangig mit Hilfe von Fragebögen evaluiert, die von den Studierenden selbst ausgefüllt werden. Einige der verfügbaren Instrumente decken sowohl Strukturen als auch Prozesse ab („Medical Student Experience Questionnaire“; MedSEQ; 32 Items [9] und „Marburger Fragebogen zur Evaluation des Lehrangebots in der Medizin“; 12 Items [10]). Vier weitere Instrumente beziehen sich in erster Linie auf lehrbezogene Prozesse und verwenden in diesem Kontext den Begriff „Lernumgebung“ („learning environment“). Das „Dundee Ready Education Environment Measure“ (DREEM; 50 Items [11]) steht seit kurzem auch auf Deutsch zur Verfügung [12]. Der sehr umfassende „Learning Environment Questionnaire“ (LEQ; 65 Items [13]) weist Überschneidungen mit dem etwas kürzeren „Measuring the School Learning Envionment Survey“ (MSLES; 50 Items [14]) auf.

Speziell für die Evaluation der klinischen Lehre wurde das Instrument „Medical Instructional Quality“ (MedIQ; 25 Items [15]) entwickelt, das vier Aspekte der klinischen Lehre im ambulanten Setting erfasst; unter anderem werden hier das klinische Lernumfeld und die Integration der Lernenden in die Versorgung von Patienten thematisiert. Eine umfassende Übersicht über weitere Instrumente zur Bewertung der Lernumgebung wurde im Jahr 2010 publiziert [16].

Zur Bewertung individueller Dozenten stehen zahlreiche Instrumente zur Verfügung (siehe Tabelle 1 [Tab. 1]). Auch hier stehen von den Studierenden ausgefüllte Evaluationsbögen meist mit skalierten Items und Freitextfeldern im Vordergrund. Die medizinspezifischen Dozenten-Evaluationsinstrumente beziehen sich in erster Linie auf die klinische Lehre (z.B. Unterricht am Krankenbett) und weniger auf Vorlesungen und Seminare. Details zu den verfügbaren Instrumenten sind der Tabelle 1 [Tab. 1] zu entnehmen. Hervorzuheben ist ein Bogen zur Bewertung von Dozenten, die im Kontext der ambulanten Patientenversorgung unterrichten („Student Evaluation of Teaching in Outpatient Clinics“; SETOC [17]). Zudem soll auf den SFDP-26 („Stanford Faculty Development Program“ [18])-Bogen hingewiesen werden, der auch in deutscher Übersetzung verfügbar ist [19]. Dieser ursprünglich an der Mayo Clinic entwickelte Bogen bildet die sieben „Stanford-Kriterien guter Lehre“ ab und weist somit eine gute theoretische Fundierung auf.

Das Ergebnis der Lehre, d.h. der Lernerfolg der Studierenden spiegelt sich, wie oben ausgeführt, nicht nur im Erwerb von Faktenwissen und praktischen Fertigkeiten sondern auch in der Entwicklung einer professionellen Einstellung wider [7], [8]. Leider konnten keine Instrumente identifiziert werden, die dieses Spektrum erschöpfend abbilden. An einigen deutschen Fakultäten werden die Leistungen der Studierenden im schriftlichen Teil des Zweiten Staatsexamens als Indikatoren der Lehrqualität interpretiert [20]. Allerdings wird in Multiple Choice-Prüfungen vorrangig Faktenwissen thematisiert, und Studierende können durch das Wiedererkennen der richtigen Antwort [21] sowie durch Trainings im Umgang mit MC-Fragen [22] ihr Prüfungsergebnis unabhängig von ihrem Faktenwissen steigern. Ähnlichen Limitationen unterliegt der an einigen deutschen Fakultäten eingesetzte Progress Test. Diese formative, wiederholt während des Studiums durchgeführte Prüfungsform verwendet ebenfalls MC-Fragen. Der Test wird durch das quer- und längsschnittliche Design jedoch als sinnvolle Quelle für wichtige Informationen für den Lernenden sowie für die Curriculumsevaluation angesehen [23].

Die staatliche Examensprüfung weist in der Regel eine hohe interne Konsistenz auf. Zur Bewertung des Ergebnisses einzelner Veranstaltungen innerhalb einer Fakultät müssen jedoch fakultätsinterne Prüfungen herangezogen werden. Diese genügen einer aktuellen Analyse zufolge oft nicht den Qualitätsstandards [24]. Als Alternative zur Messung des Lehr-Ergebnisses anhand von Prüfungsleistungen wurde kürzlich ein Instrument zur Abschätzung des Lernerfolgs anhand wiederholter studentischer Selbsteinschätzungen entwickelt. Dieses bietet gegenüber Abschlussprüfungen den Vorteil, dass es auch den initialen Leistungsstand der Studierenden berücksichtigt und somit Aussagen über den tatsächlichen Lernzuwachs während einer Veranstaltung zulässt [25].

Schließlich ist als Methode zur Bewertung der medizinischen Lehre die Absolventenbefragung zu nennen. Prinzipiell können mit dieser Methode alle vier Dimensionen der Lehrqualität betrachtet werden. Im Rahmen der vorliegenden Literatursuche wurden jedoch weder medizinspezifische Forschungsarbeiten noch Studien aus anderen Bereichen der Hochschullehre identifiziert, in denen die Qualität der hierzu genutzten Instrumente systematisch untersucht wurde.

Sowohl studentische Evaluationsbögen als auch Prüfungen können hinsichtlich ihrer Reliabilität und Validität beurteilt werden. Die Reliabilität der Instrumente zur Bewertung lehrbezogener Strukturen und Prozesse ist der letzten Spalte von Tabelle 1 [Tab. 1] zu entnehmen. Das Cronbach’s α als unteres Grenzmaß der Reliabilität ist für die meisten betrachteten Fragebogen-Instrumente zufriedenstellend. Die Interrater-Reliabilität der Evaluation hängt von der Anzahl der ausgefüllten Evaluationsbögen ab [26]. Allerdings liegen bislang keine Studien dazu vor, welcher absolute Rücklauf mindestens erforderlich ist, um aussagekräftige Daten zu erhalten (s.u.). Die Messung der Reliabilität fakultätsinterner Prüfungen stellt eine wesentliche Voraussetzung für deren Nutzung zu Evaluationszwecken dar. Bislang werden entsprechende statistische Analysen allerdings für weniger als 40% der Leistungsnachweise an deutschen Medizinischen Fakultäten angestellt [24].

Eine inhaltlich fundierte Interpretation von Evaluationsergebnissen setzt voraus, dass die erhobenen Daten valide sind. Während viele Evaluationsbögen und Prüfungen eine akzeptable Inhaltsvalidität aufweisen, sind in der Regel keine Informationen über ihre Kriteriums- und Konstruktvalidität verfügbar. Zu berücksichtigen sind außerdem Störfaktoren, die sich auf die Validität der Ergebnisse auswirken können und in erster Linie bei studentischen Bewertungen identifiziert wurden. Diese möglichen Faktoren sind unten genauer dargestellt (Frage 4); allerdings stützen sich die Betrachtungen zu diesem Aspekt vorrangig auf Literatur ohne direkten Bezug zum Medizinstudium.

Die Validität von Prüfungen wird im Wesentlichen durch zwei Störfaktoren gefährdet [27]. Eine „Konstrukt-Unterrepräsentation“ liegt dann vor, wenn das zu prüfende Konstrukt in der Prüfung nicht erschöpfend behandelt wird. In diesem Fall sind Studierende im Vorteil, die (zufällig) diejenigen Inhalte intensiver gelernt haben, die von der Prüfung abgedeckt wurden. Der zweite wesentliche Störfaktor ist die „Konstrukt-irrelevante Varianz“; sie entsteht beispielsweise dann, wenn Prüfungsfragen suboptimal konstruiert sind, so dass nicht nur die offensichtlichen Inhalte, sondern auch die Befähigung der Studierenden zum Umgang mit schwer verständlichen Formulierungen geprüft wird. Die Kriteriumsvalidität von Prüfungen wird im praktischen Lehr-Alltag in Ermangelung eines validen Außenkriteriums und der erforderlichen Ressourcen meist nicht überprüft. Das oben erwähnte Instrument zur Abschätzung des studentischen Lernerfolgs anhand wiederholter Selbsteinschätzungen hat sich in einer ersten Studie als konstruktvalide erwiesen [25]; weitere publizierte Ergebnisse lagen zum Zeitpunkt der hier vorgestellten Literatursuche noch nicht vor. Auch konnten keine Studien zur Reliabilität und Validität von Absolventenbefragungen identifiziert werden.

Das dominierende Erhebungsinstrument sowohl in der Praxis als auch in den identifizierten Publikationen sind von Studierenden auszufüllende Fragebögen. Bei der Konstruktion und dem Einsatz von Fragbögen sind jedoch einige Aspekte zu berücksichtigen. Wie oben bereits angemerkt, ließ sich für diese Forschungsfrage bedauerlicherweise kaum medizinspezifische Literatur identifizieren. Somit sollen im Folgenden einige einschlägige Erkenntnisse zur Fragebogenkonstruktion und zu den wichtigsten Störgrößen studentischer Lehrevaluationsinstrumente vornehmlich ohne direkten Bezug zum Medizinstudium dargestellt werden.

Sowohl das Fragenformat als auch die Antwortskala und das Erhebungsformat können sich auf die psychometrischen Eigenschaften der Instrumente auswirken. Bezüglich des Fragenformats wird zunächst zwischen Freitextfragen und skalierten Items unterschieden. Frei formulierte Evaluationskommentare können wertvolle qualitative Informationen liefern, werden aber nicht von allen Studierenden abgegeben. Skalierte Items bilden die Grundlage quantitativer Analysen. Die häufig verwendeten globalen Items zur Gesamtbewertung einer Veranstaltung (z.B. nach dem Schulnotenprinzip) werden von einigen Autoren aufgrund ihrer Anfälligkeit für verzerrende Einflüsse (s.u.) kritisiert [28], [29]. Andere Autoren vertreten hingegen die Ansicht, dass gute Lehre als nahezu eindimensionales Konstrukt gut mittels globaler Items beurteilt werden kann [30]. Wieder andere Studien zeigen, dass die Reliabilität eines Instruments umso höher ist, je mehr spezifische Items es enthält [31], [32].

Bezüglich der Skalierung der Antwortoptionen ist anzumerken, dass generell bessere Bewertungen zu erwarten sind, wenn sich der positive Anker der Skala links befindet [33]. Des Weiteren ist bekannt, dass die Formulierungen der Items nicht von allen Studierenden gleich interpretiert werden [3]. Auch das Erhebungsformat ist zu berücksichtigen. Diesem kommt eine wachsende Bedeutung zu, da viele Fakultäten die Evaluation ihrer Lehrveranstaltungen mittlerweile über Online-Plattformen abwickeln. Online-Evaluationen gehen zumeist mit einem geringeren Rücklauf einher als traditionelle Papier-Evaluationen. Wenngleich sich dies einer Studie zufolge nicht auf die Evaluationsergebnisse auswirkt und online sogar mehr Freitext-Kommentare abgegeben werden [34], wurde auch berichtet, dass sich leistungsschwache Studierende weniger an Online-Evaluationen beteiligen als leistungsstarke [35]. Des Weiteren ist anzumerken, dass anonyme Befragungen in der Regel schlechtere Bewertungen liefern als Befragungen, in denen die Studierenden sich identifizieren müssen [36]. Hinsichtlich der oben erwähnten Absolventenbefragungen ist zu beachten, dass Evaluationsergebnisse umso schlechter ausfallen, je größer der zeitliche Abstand zwischen der Lehre und ihrer Bewertung ist [37].

Items, die zur Bewertung individueller Dozenten eingesetzt werden, zeigen sich besonders störanfällig. So wurde wiederholt gezeigt, dass Lehrende, die enthusiastisch auftreten oder eine gute Reputation [38] haben, systematisch besser bewertet werden – selbst wenn die von ihnen vermittelten Inhalte fehlerhaft sind [39], [40]. Das studentische Interesse an einem Kurs ist ein weiterer wichtiger Störfaktor [41], [42] – folglich werden Wahlkurse in der Regel besser bewertet als Pflichtkurse [28], [43]. Veranstaltungen, die besser besucht sind, erhalten ebenfalls zumeist positivere Bewertungen [44]. Speziell im Medizinstudium werden die Veranstaltungen theoretischer Fächer tendenziell schlechter bewertet als die Lehre in klinischen Fächern; ebenso erhalten Vorlesungen im Schnitt schlechtere Bewertungen als Kleingruppenunterricht [37].

Die vorliegende Arbeit ist das Ergebnis einer breit angelegten Bestandsaufnahme der verfügbaren Literatur zur Evaluation der Lehre in der Humanmedizin. Die Ergebnisse der Recherche unterstreichen nochmals, dass die Qualität der Lehre kein eindimensionales Konstrukt darstellt; vielmehr können und sollten in Evaluationen alle vier – teilweise überlappenden – Dimensionen „Struktur“, „Prozess“, „Dozent“ und „Ergebnis“ betrachtet werden. Außerdem muss die Beurteilung von Evaluationsergebnissen stets vor dem Hintergrund des Konstrukts erfolgen, das dem genutzten Instrument zugrunde liegt. Konkret können aus studentischen Bewertungen der Pünktlichkeit von Dozenten oder der räumlichen Gegebenheiten an einer Hochschule keine unmittelbaren Rückschlüsse auf den Lernerfolg der Studierenden gezogen werden. Prüfungsergebnisse können zwar zur Abschätzung des Lehr-Ergebnisses herangezogen werden; sie bilden jedoch in der Regel nur den Leistungsstand zu einem festen Zeitpunkt ab und erlauben keine Bewertung des Lernerfolgs im Laufe einer Lehrveranstaltung. Der Progress Test überwindet diese Einschränkung zwar durch seine wiederholte Durchführung, beinhaltet jedoch nur MC-Fragen und bildet daher keine praktischen Fertigkeiten oder professionellen Einstellungen ab. Außerdem wird er nicht vor und nach jedem Kurs/Modul durchgeführt – dies wäre aber erforderlich, um einzelne Kurse/Module (und nicht nur Studierendenkohorten bzw. ganze Studiengänge) zu evaluieren.

Die quantitative Analyse von Evaluationsdaten (z.B. durch Mittelwertbildung der studentischen Globalbewertung eines Kurses auf einer Schulnoten-Skala) eröffnet zwar die Möglichkeit des Vergleichs zwischen Veranstaltungen; dieses Vorgehen birgt aber zwei Risiken: Erstens wird mit Globalbewertungen wahrscheinlich ein nicht trennscharf definiertes Konstrukt abgebildet, und zweitens sind solche Bewertungen einer Vielzahl verzerrender Einflüsse unterworfen [45]. Beides wirkt sich mindernd auf die Reliabilität und Validität von Globalbewertungen aus, falls angenommen wird, dass die Qualität der gesamten Lehre mit allen Facetten durch eine einzige Kennzahl abgebildet werden kann. Zusätzlich zu den zahlreichen oben genannten Störfaktoren soll an dieser Stelle auch der Umfang der Erhebungsinstrumente erwähnt werden. Einige der in Tabelle 1 [Tab. 1] aufgeführten Bögen enthalten über 60 Items und eignen sich aufgrund mangelnder studentischer Akzeptanz wahrscheinlich nicht zum Einsatz im Rahmen einer regelmäßigen und häufigen Veranstaltungsevaluation [46].

Weniger als die Hälfte der identifizierten Volltext-Arbeiten haben Eingang in die hier präsentierte Zusammenstellung gefunden. Hauptgrund für den Ausschluss der meisten Arbeiten war ihr fehlender Bezug zum Medizinstudium. Sehr weit verbreitet ist im amerikanischen Raum beispielsweise der validierte Fragenbogen SEEQ („Students’ Evaluation of Educational Quality”) [47]. Ob dieses Instrument auf die Medizin übertragbar ist, ist fraglich: Zum einen ist es für die amerikanische Hochschullehre entwickelt worden, die nur eingeschränkt mit der deutschen vergleichbar ist, zum anderen ist es kein medizinspezifisches Instrument. Weithin bekannte deutschsprachige Instrumente zur Evaluation der (nicht-medizinischen) Hochschullehre sind HILVE („Heidelberger Inventar zur Lehrveranstaltungs-Evaluation“) [48] und HILVE II. Beide besitzen gute psychometrische Charakteristika, aber auch hier stellt sich die Frage nach der Übertragbarkeit auf den medizinischen Kontext. Aufgrund der eingangs genannten Besonderheiten des Medizinstudiums erscheint auf jeden Fall vor einem entsprechenden Einsatz eine erneute psychometrische Testung in diesem Setting geboten.

Generelle Empfehlungen zum Einsatz spezifischer Instrumente im Medizinstudium an deutschen Fakultäten lassen sich aus den Ergebnissen der Literatursuche nicht ableiten, da die Wahl des Instruments sich wie oben dargestellt am Evaluationsziel orientieren sollte. Eine vorläufige, ressourcensparende Lösung könnte darin bestehen, die bereits in deutscher Sprache verfügbaren und mit guten psychometrischen Charakteristika ausgestatteten Bögen Marburger Fragebogen (für Strukturen und Prozesse) und SFDP-26 German [19] (für Dozenten) einzusetzen. Aufgrund der eingeschränkten Übertragbarkeit der vornehmlich im angelsächsischen Sprachraum entwickelten und validierten Instrumente auf den Kontext des deutschen Medizinstudiums sollte mittelfristig angestrebt werden, aus bereits verfügbaren, teilweise aber auch neu konstruierten Items einen neuen Fragebogen zu erstellen, der dann direkt an deutschen Fakultäten evaluiert wird. Dieser Prozess muss von psychometrischer Expertise begleitet werden und könnte im Rahmen eines entsprechenden Forschungsprojekts mehrere interessierte medizinische Fakultäten einbeziehen. Mit Hilfe eines gemeinsam konsentierten Instrumentes könnte durch die Nutzung an mehreren Standorten eine höhere Vergleichbarkeit der Ergebnisse erreicht werden. Bezüglich einer möglichen Entwicklungs- und Implementierungsstrategie finden zurzeit weitergehende Konsultationen zwischen MFT und AWMF statt.

Neben der Möglichkeit, dass relevante Publikationen in unserer Literatursuche nicht enthalten sind, ist die Hauptlimitation der vorliegenden Arbeit, dass ein Großteil der betrachteten Literatur aus dem anglo-amerikanischen Sprachraum stammt mit zuweilen erheblichen Unterschieden gegenüber dem Medizinstudium in Deutschland (z.B. eingeschränkte Übertragbarkeit angelsächsischer „clerkships“ auf deutsche Blockpraktika und Famulaturen; Fehlen eines direkten Äquivalents zum Praktischen Jahr in den angelsächsischen Studiengängen). Zudem bezogen sich die Quellen, auf die bei der vierten Forschungsfrage zurückgegriffen wurde, größtenteils nicht primär auf das Medizinstudium. Es ist zumindest fraglich, ob Erkenntnisse zur Fragebogenkonstruktion und Störgrößen in der Evaluation aus anderen Disziplinen sich ohne weiteres auf das Studium der Humanmedizin übertragen lassen. Schließlich lieferte die von uns angestellte Suche nach publizierten Instrumenten zur Beurteilung der Lehrqualität hauptsächlich Fragebögen, die im Rahmen einer studentischen Evaluation eingesetzt werden können. Andere Verfahren (z.B. Absolventenbefragungen) könnten ebenfalls hilfreiche Informationen liefern; aufgrund der diesbezüglich limitierten Datenlage wurde auf eine entsprechende Diskussion im Rahmen dieser Übersicht verzichtet.

Die Evaluation der medizinischen Hochschullehre stützt sich in erster Linie auf studentische Bewertungen, die sich auf lehrbezogene Strukturen und Prozesse sowie die Leistung individueller Dozenten beziehen. In der vorliegenden Recherche wurden einige reliable Instrumente zur Betrachtung dieser drei Dimensionen der Lehrqualität identifiziert; allerdings sind zumindest einige Störfaktoren aus nicht medizinichscher Literatur bekannt, die sich auf das studentische Bewertungsverhalten auswirken und somit die Validität der Erhebungsinstrumente einschränken. Diese Störfaktoren sollten auch bei der Nutzung studentischer Evaluationen zur Bewertung der medizinischen Lehre Berücksichtigung finden bzw. neu geprüft werden. Die Bewertung der Lehrqualität anhand von Prüfungsergebnissen ist aufgrund der bisher ungesicherten Qualität fakultätsinterner Prüfungen in Deutschland problematisch; Absolventenbefragungen werden nicht flächendeckend und mit Instrumenten ungewisser Validität und Reliabilität durchgeführt.

• Die Qualität der medizinischen Lehre ist ein mehrdimensionales Konstrukt; die wesentlichen vier Dimensionen, anhand derer die Lehrqualität beurteilt werden kann, sind Strukturen, Prozesse, Dozenten-Charakteristika und das Lehr-Ergebnis.
• Für die Bewertung von Strukturen, Prozessen und individuellen Dozenten im Medizinstudium stehen verschiedene Instrumente mit guten psychometrischen Charakteristika zur Verfügung. Die Messung des Lehr-Ergebnisses ist aufgrund der größtenteils unbekannten bzw. unbefriedigenden Reliabilität und Validität fakultätsinterner Prüfungen zurzeit noch erheblichen Limitationen unterworfen.
• Bei der Konzeption und Nutzung von Evaluationsinstrumenten müssen die in dieser Arbeit dargestellten Störgrößen berücksichtigt werden, insofern diese aus anderen Lehr-Kontexten bekannten Faktoren auf das Medizinstudium übertragbar sind.

Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.

Die Autoren Herrmann-Lingen C and Raupach T haben gleichermaßen zu der Arbeit beigetragen.