gms | German Medical Science

Mit der Überarbeitung der Ärztlichen Approbationsordnung (ÄAppO) von 2002 [1] standen die medizinischen Fakultäten vor der Aufgabe benotete Prüfungen zu etablieren, um Leistungen der Studierenden zu bewerten. Die benoteten Leistungsnachweise sind Voraussetzung für die Zulassung zum Staatsexamen und werden seither im Zeugnis abgedruckt. Sie können bei Bewerbungsverfahren und der Vergabe von Stipendien eine wichtige Rolle spielen.

Studien haben gezeigt, dass die Vorbereitung, Strukturierung, Durchführung und Auswertung von Prüfungen an medizinischen Fakultäten in Deutschland häufig nicht optimal ist. Hier besteht weiterhin Aufholbedarf, wenn auch mittlerweile Bestrebungen zur Prüfungsverbesserung messbar sind [2], [3]. Am Beispiel der Allgemeinmedizin an der LMU München wollen wir den aktuellen Stand der Prüfungsentwicklung darstellen und evaluieren.

Mit Hinblick auf die gewonnene Relevanz der fakultätsinternen Leistungsnachweise müssen Prüfungsformen und –modalitäten gefunden werden, die aussagekräftige und vergleichbare Bewertungen der Leistungen der Studierenden zulassen.

Um die Erstellung solcher Prüfungen zu erleichtern, hat das Didaktikzentrum der Eidgenössischen Technischen Hochschule Zürich (ETHZ) 2003 erstmals den „Leitfaden für das Planen, Durchführen und Auswerten von Prüfungen(...)“ [4] veröffentlicht. Er stellt eine Art Checkliste dar und beachtet dabei auch testtheoretische Gütekriterien, die Anhalt für die Qualität einer Prüfung sind. Neben den Hauptgütekriterien Objektivität, Validität und Reliabilität werden auch Vergleichbarkeit, Bezugssystem/Normierung und Ökonomie als Qualitätsmerkmale formuliert.

In Anlehnung an den Züricher Leitfaden hat der Ausschuss Prüfungen der Gesellschaft für Medizinische Ausbildung (GMA) und das Kompetenzzentrum Prüfungen Baden-Württemberg im Jahr 2008 „Leitlinien für Fakultäts-interne Leistungsnachweise während des Medizinstudiums“ veröffentlicht [5]. Darin benennen die Autoren Empfehlungen für die Gestaltung von Prüfungen, um den anspruchsvollen Spagat zwischen der knappen personellen und technischen Infrastruktur im universitären Prüfungswesen und der Forderung nach objektiven und zuverlässigen Prüfungen bewältigen zu können. Der Katalog umfasst 48 Kriterien und ist in die folgenden sieben Bereiche gegliedert:

1.

Allgemeine strukturelle Vorbedingungen

2.

Prüfungskonzeption und –bewertung

3.

Organisatorische Vorbereitungen zur Durchführung der Prüfung

4.

Durchführung der Prüfung

5.

Auswertung und Dokumentation

6.

Rückmeldung an die Studierenden

7.

Prüfungsnachbereitung

Die Kriterien sollen sicher stellen, dass die Prüfungen organisatorisch gut geplant, inhaltlich relevant gestaltet und nachhaltig konzipiert werden. So sind zum Beispiel die Auswahl der passenden Prüfungsform und Verrechnung von Teilnoten vorab zu klärende Punkte. Insgesamt wird großer Wert auf die Benennung eines Prüfungsverantwortlichen, die stetige Weiterbildung der Prüfungsautoren sowie den ökonomischen Einsatz von technischem Equipment bei der Auswertung und im Review-Prozess gelegt.

Die Beschreibung des Review-Prozesses in den Leitlinien schließt zum Beispiel die kritische Durchsicht der Prüfung, am besten zusammen mit fachfremden Vertretern, vor dem Prüfungstermin, aber auch eine Qualitätssicherung mit teststatistischen Analysen nach der Prüfungsdurchführung – vor allem mit Hinblick auf zukünftige Prüfungen – ein (siehe Abbildung 1 [Abb. 1]).

Um den Stand der Prüfungsentwicklung an den medizinischen Fakultäten seit der Novellierung der ÄAppO zu erheben wurde bereits 2007 vom deutschen Fakultätentag eine Umfrage in Auftrag gegeben. Die medizinischen Fakultäten gaben im Rahmen dieser Umfrage Informationen zur zentralen Organisation, Prüfungsplanung und –durchführung, zu den Prüfungsformen, zur Durchführung eines Aufgabenreviews als interne Qualitätssicherung und zur statistischen Auswertung an. Eine erste Veröffentlichung der Ergebnisse dieser Umfrage wurde von Herrn Professor Resch bereits auf dem Fakultätentag 2008 publiziert [2]. Die Erhebung zeigte, dass nur weniger als die Hälfte der Fakultäten zentrale Einrichtungen für die Erstellung oder Auswertung von Prüfungen nutzten, obwohl der Großteil der Prüfungen als Multiple-Choice-Klausur konzipiert war. Die von Möltner et al im Jahr 2010 veröffentlichte genauere Analyse [3] derselben Umfrage zeigte, dass Multiple-Choice-Klausuren die häufigste Prüfungsform war und nur wenige Universitäten praktische Prüfungen, so genannte OSCE („objektive strukturierte klinische Prüfungen“), einsetzten. Immerhin knapp 40% der Universitäten nutzten nach den Studienergebnissen strukturierte Verfahren zur Beurteilung der Fragenqualität und eine testanalytische Auswertung. Die Autoren kommen zu dem Schluss, dass zwar vermehrt Anstrengungen zur Verbesserung der Prüfungskultur betrieben werden, diese aber sehr heterogen ausfallen.

Seit Einführung des MeCuM-Konzeptes („Medizinisches Curriculum München“) an der Medizinischen Fakultät München ist der Lehrbereich Allgemeinmedizin maßgeblich an der Gestaltung von zwei Prüfungen [6], [https://e-learning.mecum-online.de/Informationambu_Allg_L6_L7.PDF] und vielen weiteren Unterrichtsveranstaltungen im Rahmen der Ausbildung angehender Ärzte beteiligt.

Im klinischen Studienjahr wird eine Vorlesungsreihe über die ambulante Patientenversorgung in Verbindung mit Seminaren und Hospitationen in Lehrpraxen angeboten [https://e-learning.mecum-online.de/Informationambu_Allg_L6_L7.PDF]. Der Lernerfolg dieser Kursreihe wird am Ende des dritten Studienjahres mit einer aus 40 Fragen bestehenden Multiple-Choice-Klausur überprüft und wird Grundlage für die Betrachtung der Prüfungsentwicklung in diesem Artikel sein.

Über viele Jahre hinweg waren die Vorlesungsverantwortlichen – ein Dozent pro Thema – in der Pflicht Fragen mit passenden Antwortmöglichkeiten für die Klausur zu konzipieren. Die Prüfung bestand dann aus jeweils einer Frage pro Vorlesungsthema. Die Fragenauswahl und die zur Verhinderung von Täuschungsversuchen erforderliche Versionierung der Klausuren musste manuell durchgeführt werden. Die Auswertung der Antwortbögen erfolgte mit hohem personellen Ressourceneinsatz. Im Laufe der Zeit entstand aus den Einsendungen der Dozenten eine Fragensammlung, welche in Form einer unübersichtlichen Computerdatei gepflegt wurde. Eine teststatistische Analyse oder ein organisierter Review-Prozess war nicht eingeplant.

Nutzt man die Kriterien der von der GMA veröffentlichten Leitlinie [5], um die Prüfung zu beschreiben, erfüllte der Lehrbereich mit der bisherigen Prüfungsdurchführung lediglich 14 von 48 möglichen Kriterien. Die Frage nach der Beurteilung der Kriterienerfüllung erschließt sich entweder aus der eindeutigen Formulierung der Kriterien oder aber aus den ausführlichen Erläuterungstexten.

Aufgrund der neu gewonnenen Relevanz der Leistungsnachweise und den damit verbundenen qualitativen Ansprüchen leitete der Lehrbereich die Notwendigkeit ab, das Prüfungskonzept zu überdenken.

Einführung des IMSm

Besonders unter dem Gesichtspunkt eines ressourcensparenden Konzeptes wurde intensiv an der Etablierung der Prüfungssoftware ItemManagementSystem für Medizin (IMSm) gearbeitet [7]. Bereits seit 2006 wurde es an den Pilotuniversitäten Berlin, Heidelberg und München eingesetzt. Im Sommer 2008 fand es das erste Mal Anwendung im Lehrbereich Allgemeinmedizin.

Das IMSm entstand aus einem Gemeinschaftsprojekt der genannten Universitäten und ermöglicht den Prüfungsverantwortlichen ein hohes Maß an Standardisierung und Qualitätssicherung bei der Gestaltung von Prüfungen [7].

Arbeitsweise des IMSm

Über das internetbasierte Webinterface der IMSm-Software sind Prüfungsverantwortliche in der Lage Fragen zu importieren oder zu erstellen. Ein Rechte- und Rollenmanagement erlaubt die Einbindung von Mitarbeitern auf verschiedenen Ebenen.

Neben dem verbreiteten MC-Fragentyp mit Einfachauswahl (siehe Abbildung 2 [Abb. 2]) steht auch der Fall-Typ bei der Fragenerstellung zur Verfügung. Beim Fall-Typ kann gewählt werden, ob die Fragen aufeinander aufbauen („Key Feature“ für elektronische Prüfungen) oder ob sie unabhängig voneinander beantwortet werden können („Sternförmige Fallvorlage“). In der aktuellen IMSm-Version können sogar OSCE-Stationen für praktische Prüfungen im System gespeichert werden. Die Möglichkeiten fakultäre Prüfungsworkflows im IMSm abzubilden sind somit weitreichend.

Eine weitere wichtige Grundidee der Software ist eine mögliche Vernetzung verschiedener Lehrbereiche oder sogar Fakultäten. Auf diese Weise sinkt der Aufwand der Prüfungserstellung an jeder einzelnen Fakultät, da qualitätsgeprüfte Fragen aus anderen Fakultäten zur Klausurerstellung verwendet werden können.

Um den Überblick über große Fragenpools zu behalten und um Fragen bei der Klausurerstellung gezielt auswählen zu können, kann den Fragen nicht nur ein bestimmtes Fach, sondern darüber hinaus auch ein Lernziel, ein Leitsymptom und weitere Metadaten zugeordnet werden. Ein Beispiel für ein Lernziel könnte in der Lernzielgruppe „Spezielle hausärztliche Versorgungsprobleme“ lauten: „Versorgung von alten Menschen, Pflegebedürftigkeit“ oder „Abwartendes Offenhalten“. Im Falle einer fachübergreifenden Frage zum Beispiel „Innere Medizin“ → „Ödeme“. Die Auswahlmöglichkeiten beziehen sich hier auf einen definierten Lernzielkatalog, der innerhalb der Fakultät zur Zuordnung von Lernzielen zu weiteren MeCuM-Lehrveranstaltungen verwendet wird. Für die Allgemeinmedizin sind fachspezifische Metadaten zur Beschreibung der Fragen wie spezifische Lernziele, Leitsymptome und allgemeinmedizinische Handlungsweisen (AGV, abwartendes Offenhalten, Hausbesuch, uvm.) implementiert.

Für das Zusammenstellen einer neuen Klausur werden Fragen aus dem Pool ausgewählt. Jederzeit können in der Planungsphase Fragen editiert oder ausgetauscht werden. Definierte Optionen wie zum Beispiel Seitenzahlen, Versionsangabe, Fakultätslogo sind beim Druck der Prüfungen fakultativ auswählbar.

Technische Verbesserungen bei der Auswertung

Die Umstellung der Prüfungsverwaltung von einer oder mehreren einfachen Textdateien auf eine datenbankbasierte Websoftware blieb im Rahmen der Überarbeitung der Prüfungsorganisation nicht die einzige Änderung. Das IMSm vereint neben der reinen Datenverwaltung auch die Fähigkeit die Datensätze für ein Scanner-basiertes Auswertungssystem aufzubereiten.

Die Antwortbögen der Studierenden werden dann zentral mit einem Dokumentenscanner ausgewertet, um eine fehlerarme und zeitnahe Veröffentlichung der Ergebnisse zu ermöglichen. Aus den Scandaten werden darüber hinaus die Item- und Prüfungskennwerte berechnet und an das IMSm übermittelt. Vor der Ergebnisveröffentlichung kann noch auf etwaige Schwachstellen (z.B. fehlerhafte Fragen) reagiert werden. Für zukünftige Prüfungen können die Kennwerte wie Trennschärfe, Schwierigkeit und Distraktorenhäufigkeiten zur Verbesserung von Prüfungsfragen verwendet werden.

Strukturelle Maßnahmen

Was die allgemeinen Vorbedingungen einer Prüfung betrifft, wird versucht die Kommunikation zwischen den Studierenden und dem Lehrbereich zu verbessern, indem u.a. ein vollständiger und für die Prüfung verbindlicher Lernzielkatalog online abrufbar ist. Des Weiteren werden Modalitäten wie Termin, Ort, Zeit, Ablauf und Möglichkeiten der Einsichtnahme schriftlich mitgeteilt.

Mit Frageautoren und im Rahmen von Kerngruppentreffen werden Prüfungsfragen und Prüfungen – inhaltlich und organisatorisch – besprochen, um nachhaltig die Qualität zu sichern und weiter zu verbessern. Der Review-Prozess im Vorfeld der Prüfungen wurde ausgebaut. Eingesendete Prüfungsfragen und Antwortmöglichkeiten werden vom Prüfungsbeauftragten nach formalen und inhaltlichen Kriterien überprüft und gegebenenfalls in der Kerngruppe der Lehrbeauftragten als Review-Team bezüglich einer notwendigen Überarbeitung diskutiert. Als weiteres Qualitätskriterium wird eine Reliabilität (Cronbachs alpha) von 0,8 angestrebt, was aber mit einer Fragenzahl von 40 Fragen nur bedingt zu realisieren ist. Damit erfüllt der Lehrbereich Allgemeinmedizin an der LMU weite Teile der GMA-Anforderungen an Review-Prozesse.

Die Bemühungen der Prüfungsverbesserung schlagen sich in einem deutlichen Anstieg der erfüllten Leitlinienempfehlungen der GMA nieder. Bei aktueller Berechnung werden 30 von 48 möglichen Kriterien im Vergleich zu 14 Kriterien vor der Verwendung des IMSm erfüllt (siehe Abbildung 3 [Abb. 3]).

Die Steigerung im Bereich „Allgemeine strukturelle Vorbedingungen“ ergibt sich im Wesentlichen aus folgenden Punkten: Einführung eines vollständigen schriftlichen Lernzielkatalogs, formale Verbesserungen im Prüfungsablauf (z.B. eindeutige zugeordnete Lösungsbögen, klare Einteilung in Gruppen, feste Sitzordnung), Einführung eines einheitlichen Verfahrens zur Bewertung bei fehlerhaft gestellten Aufgaben und die Möglichkeit zur strukturierten Einsichtnahme in die Prüfungsergebnisse.

Im Bereich „Prüfungskonzeption und –bewertung“ konnten wir die deutlichste Verbesserung erreichen. Dies betrifft die folgenden Punkte: Einführung einer standardisierten, inhaltlichen und formalen Bewertung der Fragen (Prä-Review), Dokumentation der Review-Ergebnisse im IMS, Ressourceneinsparung durch Delegation von Aufgaben an die zentrale Prüfungsstelle und Einführung eines verbindlichen Bewertungsschemas. Die Reliabilität (Cronbachs Alpha) der Gesamtprüfungen mit 40 MC-Fragen liegt bei etwa 0,65 und wurde durch die eingeleiteten Maßnahmen nicht signifikant verändert. In Anbetracht der vorgegebenen Fragenzahl betrachten wir diesen Wert als ausreichend.

Abbildung 3 [Abb. 3] zeigt neben dem generell positiven Trend der Entwicklung in den Bereichen „Organisatorische Vorbereitungen zur Durchführung der Prüfung“ und „Durchführung der Prüfung“ keine messbare Verbesserung. Hier sind jeweils zwei Kriterien nicht erfüllt.

Im Bereich „Auswertung und Dokumentation“ haben wir uns von null auf drei Kriterien stark verbessert. Dies bezieht sich auf die teststatistische Auswertung vor der Veröffentlichung der Noten zur Identifikation von problematischen Fragen. Zudem wird jetzt ein Prüfungsbericht erstellt, in dem Veränderungen der Aufgabenbewertungen oder -gewichtungen, der als korrekt gewerteten Lösungen und nicht gewerteten Aufgaben dokumentiert sind.

Die „Rückmeldung an die Studierenden“ hat sich durch die Bekanntgabe der Prüfungsergebnisse innerhalb eines vorab festgelegten Zeitraums von zwei Wochen verbessert. Zusätzlich haben die Studierenden innerhalb einer angemessenen Frist von einem Monat die Möglichkeit zur Einsicht in ihre Prüfungsunterlagen.

In der „Prüfungsnachbereitung“ werden jetzt beide Kriterien erfüllt: es findet eine schriftlich dokumentierte Nachbereitungssitzung (Post-Review) der Prüfung mit den Prüfungsbeauftragten statt und die Prüfungsergebnisse werden zeitnah an die Fragenautoren weitergegeben.

Die Novellierung der ÄAppO 2002 hat weitreichende Relevanz für die Durchführung der hochschulinternen Prüfungen. Leistungsnachweise werden seither benotet und können eine Rolle bei der Vergabe von Arbeitsplätzen oder zum Beispiel Stipendien spielen. Daraus lässt sich die Notwendigkeit ableiten, qualitativ hochwertige Prüfungen zu konzipieren, die einen Leistungsvergleich unter Absolventen einer Fakultät und darüber hinaus auch einen interfakultären Vergleich erlauben.

Um die Erstellung solcher qualitativ hochwertiger Prüfungen zu erleichtern, hat erstmals das Didaktikzentrum der ETHZ und wenige Jahre später der Ausschuss Prüfungen der GMA in Zusammenarbeit mit dem Kompetenzzentrum Prüfungen Baden-Württemberg Qualitätsmerkmale und Leitlinien für den Prozess der Prüfungskonzeption veröffentlicht. Als Kernqualitätsmerkmale gelten Objektivität, Validität und Reliabilität. Besonderer Wert wird im Weiteren auf transparente Kommunikation (Prüfungsankündigung, Bestehensregelung, uvm.), Review-Prozesse inklusive der Einbindung fachfremder Vertreter, sowie auf die teststatistische Analyse gelegt. Die im Leitlinienkatalog der GMA genannten 48 Kriterien sollen die Qualität der Prüfung und dadurch die Nachhaltigkeit des Fragenpools für zukünftige Prüfungen sicherstellen.

Noch 2008 erfüllte das Prüfungskonzept des Lehrbereichs nur 14 der 48 Kriterien. Bei den notwendigen lehrbereichsinternen Diskussionen über die möglichen Verbesserungen orientierten wir uns stark an den GMA-Leitlinien. Grundlegende Änderungen innerhalb des Lehrbereichs waren die Motivation zur stetigen Weiterbildung der Prüfungsverantwortlichen, eine verbesserte Ausnutzung der fakultätsinternen Ressourcen (z.B. Belegleser und zentraler Druck) und die Einführung der Prüfungsverwaltungssoftware. Wir erachten besonders die Etablierung eines geregelten Review-Prozesses, sowohl vor als auch nach der Prüfung, als Kernpunkt.

Heute erfüllt der Lehrbereich damit insgesamt 30 von 48 möglichen Kriterien (Abbildung 3 [Abb. 3]).

In den Bereichen „Allgemeine strukturelle Vorbedingungen“ und „Prüfungskonzeption und -bewertung“ war uns besonders die Einführung eines Lernzielkataloges ein Anliegen. Der Lernzielkatalog ist Grundlage für die Erstellung der Prüfungsfragen und hilft den Fragenautoren bei der Formulierung von relevanten Fragen. Er dient auch den Studierenden als Erwartungshorizont zur Prüfungsvorbereitung. Zusätzlich sind die Vorlesungsbeiträge und Seminare der Dozenten am Lehrzielkatalog ausgerichtet und über das Studierendenportal herunterladebar.

Zu einem hohen Maß wird die Einführung der Prüfungsverwaltungssoftware IMSm im Lehrbereich als zukunftsweisend betrachtet. Die Möglichkeit der technisch-unterstützten Prüfungsauswertung (Dokumentenscanner und entsprechende Software) brachte enorme Vorteile. Bei nur einer 40%-Stelle im Lehrbereich konnte der personelle Ressourceneinsatz bei der Korrektur der Klausur gesenkt werden und zum anderen besteht damit die Möglichkeit die Klausurergebnisse unmittelbar für teststatistische Analysen zu verwenden.

Ein weiterer Vorteil ist die Online-Funktionalität der IMSm-Administrationsoberfläche, denn so kann die Verwaltung des Fragenpools ortsunabhängig gestaltet werden und zugleich auf mehrere Mitarbeiter verteilt werden. Die eingebauten Review-Elemente des Systems erleichterten die Etablierung der Prozesse und erhöhen die Qualität der Fragen (z.B. Item-Analyse, Erkennung von Cueing).

In den Bereichen „Organisatorische Vorbereitungen zur Durchführung der Prüfung“ und „Durchführung der Prüfung“ zeigte sich keine messbare Verbesserung. Der Grund liegt in der Gestaltung der Prüfungsdurchführung, denn das Dekanat meldet zum einen alle in die Kurse eingeschriebenen Studierenden automatisch zur Prüfung an und zum anderen erfolgt die Auswertung der Multiple-Choice-Prüfung mittlerweile durch einen Belegleser und nicht mehr manuell.

Bezüglich der Durchführung der Prüfung wollen wir in Zukunft auftretende Fehler oder Täuschungsmanöver erfassen und zentral dokumentieren. Eine Checkliste für den formalen Ablauf der Prüfung soll erarbeitet werden.

Es erfolgt bisher aus Ressourcengründen keine stichprobenartige Kontrolle der Korrekturen und Bewertungen. Dies ist bei maschineller Auswertung und manueller Problembearbeitung auch nur beschränkt sinnvoll.

In den Bereichen „Rückmeldung an die Studierenden“ und „Prüfungsnachbereitung“ sind keine Verbesserungen mehr möglich, da inzwischen alle Kriterien erfüllt sind.

Die aktuellen Verbesserungsmaßnahmen sind hinsichtlich der Qualitätssicherung der Prüfung im Lehrbereich Allgemeinmedizin an der LMU München als sehr positiv zu bewerten. Zu bedenken ist allerdings, dass die Berechnung der erfüllten Leitlinienkriterien nicht alle Aspekte der Prüfungsqualität (wie beispielsweise die Studentenzufriedenheit) erfassen kann. Der positive Trend kann aber als Indiz dafür angesehen werden, dass sich die Prüfungssituation verbessert hat.

Der Stichprobenumfang der Prüfungsevaluation durch die Studierenden war leider zu gering, als dass eine statistische Auswertung aussagekräftig gewesen wäre. Für die Zukunft wird hier eine detaillierte Untersuchung angestrebt, um Schwachstellen aufzudecken.

Im Weiteren können wir uns die Einbindung fachfremder Vertreter in die Fragenreviews vorstellen. Es erscheint zudem erstrebenswert den Kontakt zu Prüfungsverantwortlichen anderer Fakultäten zu suchen, um durch Vernetzung der gegenseitigen Fragenpools zu profitieren.

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.