gms | German Medical Science

Im Studium der Humanmedizin werden an den 37 deutschen Fakultäten aktuell rund 92.000 Menschen zu künftigen Ärztinnen und Ärzten ausgebildet. Die Qualität des Studiums muss hohen Ansprüchen genügen: Neben der inhaltlichen Ebene [1] sind hierbei u.a. auch Aspekte der Interprofessionalität und der Wissenschaftlichkeit abzudecken [2]. Das „Ergebnis“ der Lehre an den medizinischen Fakultäten wird – auch zum Zweck eines nationalen Rankings – zuweilen an den studentischen Leistungen im schriftlichen Teil des Zweiten Staatsexamens abgeschätzt. Diese Prüfung bildet lediglich Faktenwissen ab und die aggregierten Examensleistungen bieten nur wenige Anhaltspunkte für konkrete Stärken und Schwächen einzelner Curricula. Somit benötigen die Fakultäten andere Datenquellen zur Beurteilung ihrer Lehrqualität. Hierzu werden in der Regel studentische Evaluationen durchgeführt. Hier können – je nach dem eingesetzten Erhebungsinstrument – bis zu vier Dimensionen der Lehrqualität abgebildet werden. Nach Gibson et al. werden diesbezüglich strukturelle und prozedurale Charakteristika der Lehre sowie die didaktischen Fertigkeiten der Lehrenden und der studentische Lernerfolg unterschieden [3]. Viele Evaluationsinstrumente legen ihren Fokus allerdings auf strukturelle und prozessbezogene Parameter [4] und erfragen in erster Linie die studentische Zufriedenheit mit der Lehre. Dabei ist bekannt, dass insbesondere Global-Bewertungen durch Studierende mannigfachen Störfaktoren (z.B. individuelle Charakteristika wie Geschlecht, Interesse am Thema, Leistungsniveau) unterliegen [5]. Eine solche Verzerrung der Evaluation ist problematisch, da die Ergebnisse an einigen Fakultäten als Grundlage einer Leistungsorientierten Mittelvergabe (LOM) für Lehre (LOM-Lehre) diskutiert werden. In der Forschung ist eine Leistungsorientierte Mittelzuweisung mittlerweile allgemein etabliert. Obwohl die Parameter und Algorithmen der Forschungsevaluation intensiv kritisiert werden [6], ist ein Ungleichgewicht zwischen Anreizen für gute Forschung und solchen für gute Lehre entstanden. Zwar fließen große Summen in die Grundausstattung der Lehre, die Lehrqualität wird bei der Ressourcen-Allokation jedoch häufig nicht ausreichend einbezogen. Dies hat zu Folge, dass sich in der Wahrnehmung vieler WissenschaftlerInnen Engagement in der Lehre weniger auszahlt als Engagement in der Forschung.

Bislang fehlen umfassende Daten zu den Evaluationspraktiken und zur Gestaltung von LOM-Algorithmen in der Lehre für die deutschen medizinischen Fakultäten. Vor diesem Hintergrund haben sich die Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften e.V. (AWMF) und der Medizinische Fakultätentag (MFT) das gemeinsame Ziel gesetzt, die an den medizinischen Fakultäten in Deutschland gängigen Evaluationspraktiken zu analysieren. In dieser Arbeit werden die Ergebnisse einer an allen medizinischen Fakultäten Deutschlands durchgeführten Befragung vorgestellt.

Es wurde ein standardisierter und im Vorfeld in einem mehrstufigen Verfahren pilotierter Fragebogen entwickelt.

Der Fragebogen bildete in elf Abschnitten die folgenden Aspekte der Lehrevaluation und LOM-Vergabepraxis ab:

1.

Grundlagen der Evaluation,

2.

Gegenstände der Evaluation,

3.

an der Evaluation beteiligte Personengruppen,

4.

Regelmäßigkeit und Häufigkeit der Evaluation des Kerncurriculums,

5.

Format der Evaluation durch Studierende,

6.

Format der Evaluation durch Dozenten,

7.

inhaltliche Aspekte der Evaluation durch Studierende,

8.

Nutzung objektiver Daten zu Qualitätssicherung und Evaluation,

9.

Aufbereitung und Verbreitung der Evaluationsergebnisse,

10.

Konsequenzen der Evaluation,

11.

Mittelvergabe für die Lehre.

Der Fragebogen enthielt vor allem Ja/Nein-Fragen, teilweise mit der Möglichkeit zu ergänzenden Freitextangaben. Vereinzelt wurden Zahlenangaben, etwa zum Umfang der Evaluationen, den Rücklaufquoten studentischer Evaluationen sowie zur Aufteilung der fakultären Landesmittel erbeten.

Der Fragebogen wurde im Juli 2013 über die Geschäftsstelle des Medizinischen Fakultätentages allen medizinischen Fakultäten in Deutschland zugesandt. Die Fakultäten wurden um schriftliche Beantwortung durch die zuständigen Mitarbeiter sowie die Zusendung relevanter Materialien gebeten. Bei Nichtbeantwortung erfolgte eine Erinnerung Ende August, weitere fehlende Daten wurden im November und Dezember telefonisch erfragt. Der Fragebogen kann bei den Autoren angefordert werden.

An der Befragung nahmen 30 deutsche medizinische Fakultäten mit insgesamt 33 Studiengängen (23 Regelstudiengänge, 6 Modellstudiengänge, 3 reformierte Regelstudiengänge, und 1 Studiengang für Molekulare Medizin) teil (Rücklaufquote 83%).

Die Ergebnisse werden im Folgenden orientiert an den Abschnitten des Fragebogens dargestellt.

Lediglich 21% der Studiengänge verfügten über eine fakultätseigene Evaluationsordnung. Die Mehrzahl berief sich auf die Evaluationsordnung der jeweiligen Universität bzw. auf entsprechende Fachbereichsratsbeschlüsse. Der Großteil (85%) gibt seine Evaluationspraxis als „durch Erfahrung gewachsen“ an, bei 75% ist diese auch wissenschaftlich begründet. Als Quelle verweisen 40% auf externe und 36% auf interne Erhebungsinstrumente. Des Weiteren werden vereinzelt Punkte wie einschlägige Kenntnisse in der Methodenforschung oder Standards für Evaluation der Gesellschaft für Evaluation e.V. (DeGEVal), der AG Evaluation und der Ausbildungskommission genannt.

Hauptsächlich werden Fächer (70%), Einzelveranstaltungen (67%) und Studienabschnitte (64%) evaluiert. Insbesondere das Praktische Jahr (PJ) ist für 85% der Studiengänge evaluationsrelevant. Auch Lehrende werden an drei Vierteln der Fakultäten evaluiert. Für Prüfungen (Qualität und Ergebnisse) und AbsolventInnen erfolgt in etwa der Hälfte der Fakultäten eine Evaluation. Alle Studiengänge nutzen studentische Evaluationen, 45% beziehen Lehrende mit ein und 20–25% interne Gremien jedoch auch externe GutachterInnen.

In weniger als 50% der Studiengänge erfolgt eine flächendeckende Evaluation aller Veranstaltungstypen und Personengruppen. Lediglich Fächer bzw. Querschnittsbereiche werden von etwa zwei Dritteln der Fakultäten durchgängig evaluiert, einzelne Studienabschnitte von 42%, und Lehrende (27% bis 36%) sowie Prüfungen (33%) von ca. einem Drittel.

Nahezu alle Studiengänge (97%) nutzen bei studentischen Evaluationen Online-Formate, etwa 50% evaluieren (zusätzlich) papierbasiert. Mehrheitlich (94%) wird außerhalb von Lehrveranstaltungen, vorwiegend vor oder nach der Abschlussklausur, evaluiert. Aber auch während laufender Veranstaltungen finden in ca. 46% der Studiengänge Evaluationen statt. Die Fragenanzahl im Fragebogen variiert stark (1 bis 140 Items). Am häufigsten kommen ordinal- bzw. intervallskalierte Items (z.B. Schulnoten, %-Angaben) sowie Freitextkommentare zum Einsatz. Auch werden dichotome, offene und Mehrfachantwort-Fragen verwendet.

Die Rücklaufquoten studentischer Evaluationen wurden im Mittel mit ungefähr 60% angegeben. Anreize für einen erhöhten Rücklauf wie Transparenz (18%) und Bonussysteme für Studierende (33%) werden ebenso wie Zwang und negative Konsequenzen nur vereinzelt als hilfreich beschrieben. Als weitere Evaluationsformen wurden Nachbesprechungen (54%) und Berichte von SemestersprecherInnen (48%) genannt. Interviews (15%) und Fokusgruppen (21%) kommen seltener zum Einsatz.

Bei der Lehrveranstaltungsevaluation durch Dozierende wird in der Mehrzahl (80%) ein strukturiertes Vorgehen gewählt. In 40% der Fälle evaluieren alle Lehrenden, in 20% eine Auswahl von Lehrenden in Kommissionen.

Mittels studentischer Evaluationen werden vor allem Struktur- und Prozessparameter sowie der Gesamteindruck der Lehre erfasst. Besonders hoch (>80%) schätzen Studierende subjektiv die Prüfungs- und Praxisrelevanz der Inhalte ein, bewerten den inhaltlichen Aufbau und geben ihre globale Zufriedenheit mit der Veranstaltung an bzw. eine Gesamtnote ab. Für weitere Details siehe Tabelle 1 [Tab. 1].

Von 94% der Fakultäten werden objektive Daten zur internen oder externen Qualitätssicherung der Lehre genutzt. Besonders häufig (>80%) wurde das Zweite Staatsexamen (Bestehensquote in der Referenzkohorte, Durchfallquote) genannt, gefolgt von durchschnittlicher Studiendauer, durchschnittlicher Punktzahl im Zweiten Staatsexamen und Absolventenzahlen (je 79%), Bestehen des Ersten Staatsexamens und Weiterqualifikationen der Lehrenden (je 76%).

Betreuungsrelation, Zahl und Qualität von Promotionen sowie Forschungsprojekte bzw. Publikationen zur Lehre, aber auch durchschnittliche Punktzahlen und fächerspezifische Auswertungen im Ersten Staatsexamen sind weniger relevante Parameter für die Qualitätssicherung (50–70%)

Die Evaluationsergebnisse werden überwiegend als schriftliche Berichte verfasst und meist elektronisch in einem geschützten Bereich abgelegt. In der Regel werden Dekanat (79%) und Scheinverantwortliche (76%) aktiv über die Ergebnisse informiert, häufig auch LehrkoordinatorInnen (67%), einzelne Dozierende (61%) und Studierende (64%). Eine aktive Ergebnis-Kommunikation erfolgt in gut 40%, und in knapp 10% der Fälle wird aktiv die (externe) Öffentlichkeit informiert.

Die Bewertung der Lehrqualität erfolgt in zwei von drei Fakultäten anhand fester Kriterien/Kategorien, bei 82% werden Veranstaltungen und Dozierende auch relativ zueinander bewertet. Mehrheitlich (82%) werden Feedbackgespräche mit Dozierenden geführt, seltener wird Feedback zu Lehrinhalten an Querschnittsbereiche (73%), Fächer (61%) und Module (55%) gegeben. Zudem haben knapp 80% (79%) der Studiengänge Konsequenzen für besonders positive aber auch für besonders negative Evaluationsergebnisse vorgesehen. Für positive Ergebnisse wird vorwiegend (54%) die Berücksichtigung in der LOM-Lehre genannt und nur vereinzelt Auszeichnungen als beste Dozentin bzw. bester Dozent oder ein Bonus bei Beförderungen erwähnt. Dagegen stehen bei 73% der Studiengänge Schulungs- und Unterstützungsangebote für Lehrende mit besonders negativen Ergebnissen zur Verfügung, gefolgt von persönlichen Gesprächen (45%) und Effekten auf die LOM-Lehre (21%).

Für die Verteilung der Landes-Zuführungsbeiträge liegen Antworten von 17 Fakultäten vor. Diese Daten sind in Abbildung 1 [Abb. 1] dargestellt. Deutlich wird hier, dass die drei wichtigsten Posten die allgemeine Grundausstattung der Lehrstühle sowie die curriculare Basisausstattung und die evaluationsbasierte Forschungs-LOM darstellen. Demgegenüber spielen diese Mittel für die Lehre ebenso eine untergeordnete Rolle wie antragsbasierte Forschungs- und Lehrförderung. Die evaluationsbasierte LOM-Lehre bildet mit durchschnittlich 1,6% (Minimum 0%, Median 3%, Maximum 6%) eher einen kleinen Teil der Landesmittel ab.

Die LOM-Lehre folgt in gut 60% einem festen Algorithmus. Sie kommt mit knapp 70% insbesondere den Kliniken bzw. Instituten zugute, deutlich seltener kompletten Modulen (15%) oder Einzelpersonen (21%).

Die Ergebnisse der Fakultätenbefragung decken sich insofern mit der aktuellen Literatur [4], als die in Deutschland eingesetzten Erhebungsinstrumente vorrangig strukturelle und prozedurale Aspekte sowie einen Gesamteindruck der Lehre erfassen.

Das Ergebnis der Lehre – i.d.R. als Lernerfolg der Studierenden definiert – wird entweder anhand punktueller studentischer Angaben zum wahrgenommenen eigenen Lernerfolg oder anhand der Leistungen in den Staatsexamina beurteilt. Eine systematische Bewertung der Lehrenden erfolgt kaum.

Für die Dimensionen „Prozess“ und „Lehrende“ wurden in der Literaturrecherche von Schiekirka et al. [4] bereits zahlreiche Erhebungsinstrumente für die medizinische Lehre mit guter bis sehr guter Reliabilität identifiziert. Etwas mehr als ein Drittel der Fakultäten geben an, externe Instrumente für die Evaluation heranzuziehen bzw. diese als wissenschaftliche Grundlage für fakultätseigene Instrumente zu nutzen. Es bleibt jedoch unklar, ob die genutzten Instrumente sich mit den bereits identifizierten Instrumenten decken. Auch bleibt offen, ob die Instrumente spezifisch zur Erfassung der Lehre in der Medizin entwickelt wurden, ob ihnen psychometrische Testungen zugrunde liegen und inwiefern sie den gängigen Gütekriterien genügen. Bei 88% der Fakultäten werden Globalnoten zur Bewertung der Lehrqualität herangezogen. Wenngleich diese Bewertungen einen groben Eindruck von der studentischen Zufriedenheit mit der Lehre vermitteln, sind sie aufgrund der starken Verzerrung durch verschiedene konstrukt-irrelevante Störfaktoren nicht als valide Messgrößen der Lehrqualität anzusehen [5]. So zeigen Daten, dass Studierende mit einem großen initialen Interesse an einer Lehrveranstaltung in der Evaluation positivere Einschätzungen angeben als Personen mit einem geringen Interesse [7], [8]. Weitere Studien fanden eine positive Korrelation zwischen Leistungen in der Abschlussprüfung und der Bewertung eines Anatomiekurses [9], [10]. In diesem Zusammenhang sei auf die Bedeutung einer klaren Definition des in der Evaluation abgebildeten Konstrukts von guter Lehre hingewiesen: Nur wenn eindeutig definiert ist, was unter „guter Lehre“ verstanden wird, kann ein Instrument identifiziert und eingesetzt werden, das genau dieses Konstrukt misst. Umgekehrt darf sich die Interpretation vorliegender Evaluationsdaten nur auf genau dieses Konstrukt (z.B. strukturelle Gegebenheiten) beziehen, und nicht auf andere Aspekte der Lehrqualität (z.B. didaktisches Geschick der Dozenten) ausgeweitet werden.

Die psychometrische Untersuchung eingesetzter Evaluationsinstrumente, Minimierung verzerrender Effekte sowie die Erfassung aller vier Dimensionen nach Gibson [3] sind jedoch dringend erforderlich, um die Lehrqualität valide erfassen und entsprechend optimieren zu können.

Auch die Erfassung des Lehrergebnisses durch scheinbar objektive Daten wie Prüfungen unterliegt Schwierigkeiten. Um valide Daten liefern zu können, müssen Prüfungen kongruent mit dem Lehrinhalt und der Lehrform [11] und somit frei von konstrukt-irrelevanter Varianz sein [12], [13] sowie internationalen Qualitätsstandards genügen [14]. Nicht immer ist dies gegeben [15].

Noch mehr Gewicht bekommen diese Voraussetzungen, wenn die Verteilung von LOM-Lehre auf Basis von Evaluationsergebnissen und Prüfungen erfolgen soll. Die finanzielle Honorierung der Lehre erfolgt bislang überwiegend im Rahmen der Grundausstattung bzw. nach Kriterien der Lehr-Quantität. Qualitätsbasierte Mittelzuweisung für die Lehre spielt anders als im Bereich der Forschung nur eine untergeordnete Rolle. Auch weitere Gratifikationen für hohe Lehrqualität kommen lediglich vereinzelt zum Einsatz.

Durch die derzeitige Heterogenität der Evaluation ist die Vergleichbarkeit der Ergebnisse zwischen Fakultäten nicht oder nur sehr eingeschränkt möglich. Durch eine Betrachtung schriftlicher Examensergebnisse kann zwar eine gewisse Vergleichbarkeit hergestellt werden – hier bleibt jedoch jeweils die Validität der Daten vor dem Hintergrund des jeweils gewählten Konstruktes guter Lehre zu diskutieren. Hinsichtlich einer Honorierung guter Lehre zeigen erste Daten, dass Lehrende derzeit ihre Motivation vorranging aus studentischem Feedback ziehen, jedoch möglichen finanziellen Anreizen positiv gegenüber stehen [16], [17]. So scheint es nicht zielführend zu sein, ausschließlich finanzielle Anreize in den Vordergrund zu stellen, vielmehr können auch weitere Aspekte der Wertschätzung und konkrete Unterstützung (durch z.B. Verbesserung von Rahmenbedingungen und Karrierechancen) motivationsfördernd und -erhaltend wirken [18]. Ebenso wie gute Forschungsleistung sowohl immaterielle und karrierebezogene als auch direkte materielle Wertschätzung erfährt, sollte ein Anreizsystem für gute Lehre auf breiter Basis ansetzen, um das bislang bestehende Ungleichgewicht auszugleichen.

Diese erste systematische Erhebung zu den Evaluationspraktiken in der Lehre an deutschen medizinischen Fakultäten hat gezeigt, dass die Evaluationsinstrumente inhaltlich und methodisch ähnlich ausgelegt sind und vor allem strukturelle und prozedurale Aspekte sowie einen Gesamteindruck der Lehre erfassen. Bezüglich der tatsächlich eingesetzten Instrumente herrscht eine erhebliche Heterogenität. Eine möglichst bundesweite Konsentierung eines Leitbilds guter medizinischer Lehre sowie die Identifikation bzw. Entwicklung valider und reliabler Erhebungsinstrumente in deutschlandweiter Zusammenarbeit scheint sinnvoll.

Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.

Die Autoren Raupach T und Herrmann-Lingen C haben gleichermaßen zu der Arbeit beigetragen.

Wir danken der AWMF für finanzielle Unterstützung, der MFT-Geschäftsstelle (Dr. Corinne Dölling) für logistische Unterstützung, Frau Sabine Gluth für die Komplettierung und Auswertung der Befragungsdaten, den Mitarbeiterinnen und Mitarbeitern der Studiendekanate für die Beantwortung der Fragebögen sowie den Mitgliedern der AWMF-Kommission für Leistungsevaluation in Forschung und Lehre und der MFT-AG Lehre für ihre Unterstützung bei der Durchführung und Interpretation der Befragung.