gms | German Medical Science

Aufgrund von Praktikabilität und Reliabilität besteht die überwiegende Anzahl von Prüfungen für Studierende der Medizin aus Multiple-Choice-Fragen. Das Institut für Medizinische Informatik und Biomathematik entwickelt in enger Kooperation mit dem Dekanat der Medizinischen Fakultät der Westfälischen Wilhelms-Universität Münster ein System für ein EDV-basiertes Reviewverfahren (Abbildung 1 [Abb. 1]). Dieses soll, in Zusammenarbeit mit den Medizinischen Fakultäten des Landes NRW, die Erstellung und Begutachtung von Prüfungsfragen optimieren und simplifizieren.

Das System mit dem Titel „Elektronisches Prüfungsmanagement in der Medizin“, kurz EPM, ist internetbasiert. Dies ermöglicht das einfache Erstellen und dezentrale Begutachten von Prüfungsfragen. Die Umsetzung erfolgt mittels JSP- und Servlet-Technologie. Hierbei kommt das Struts-Framework zum Einsatz. Die Verwendung eines Frameworks führt zu vergleichbaren Architekturen der unterschiedlichsten Applikationen. Hieraus resultiert eine Erhöhung von Verständnis, Wiederverwendbarkeit und Kapselung des Programmcodes: “Application frameworks build on this common ground to provide developers with a reusable structure that can serve as the foundation for their own products.“ ([Ref. 1], S. 5). Features wie Tiles oder die implementierte Input-Validierung erleichtern die Erzeugung des Programmcodes zusätzlich. „Struts erlaubt deklarative Validierung außerhalb von Java, die in einer oder mehreren XML-Dateien konfiguriert ist.“ ([Ref. 2], S. 125).

Zur Ermittlung von Wünschen und Anforderungen der Medizinischen Fakultäten NRWs wurde Anfang März 2005 ein Workshop zum Thema „Reviewverfahren“ veranstaltet auf dem der geplante Reviewprozess vorgestellt und überarbeitet wurde.

Der daraus entstandene Workflow soll hier skizziert werden. Aufgrund der Neuerung im Studienverlauf eines Medizinstudenten an der Universität Münster im Zuge der 9. Novelle der Approbationsordnung werden die Unterrichtsinhalte nicht mehr in einzelnen Fächern wie Innere Medizin oder Chirurgie unterrichtet, sondern in fächerübergreifenden, thematisch arrangierten Blöcken, den so genannten Fachmodulen. Diese Herangehensweise erlaubt eine themenzentrierte Vermittlung sämtlicher relevanter Inhalte.

Um den verschiedenen Fakultäten, unabhängig vom jeweils verwendeten Curriculum, gerecht werden zu können, kann das Reviewverfahren sowohl bei interdisziplinärer als auch bei fachspezifischer oder inhomogener Prüfungsstruktur zum Einsatz kommen.

Im Falle eines interdisziplinären Aufbaus der Prüfung ernennt der Prüfungskoordinator einen sog. Reviewkomiteesvorsitzenden. Neben den Nutzergruppen der Prüfungskoordinatoren und der Reviewkomiteevorsitzenden existieren die Gruppen der Fachkoordinatoren, der Autoren, der Reviewer, der Studierenden und der System-Administratoren.

Ein Reviewkomitee kann dem jeweiligen Fachmodul entsprechen. Um das System jedoch flexibel zu gestalten und die Erstellung und Bewertung von Prüfungsfragen auch über die jeweiligen Modulgrenzen hinweg zu ermöglichen, können sich dem Reviewkomitee auch Angehörige modulfremder Fachbereiche anschließen.

Der Reviewkomiteevorsitzende wählt die Fachkoordinatoren aus, welche ihrerseits die Autoren und Reviewer selektieren. Im Falle einer fachspezifischen Prüfungsstruktur wählt der Prüfungskoordinator direkt den adäquaten Fachkoordinator, welcher seinerseits Autoren und Reviewer benennt. Dabei werden die jeweiligen Nutzergruppen sukzessive automatisiert über die Anzahl der Prüfungsfragen und die entsprechenden Deadlines informiert. Die Autoren erhalten von den Fachkoordinatoren zusätzlich Themenvorgaben, die sie einem im System hinterlegten universitätseigenen Lernzielkatalog entnehmen können.

Haben die Autoren die Prüfungsfragen erstellt, so kann der Prüfungskoordinator zunächst entscheiden, ob er ein Reviewverfahren in Gang setzen möchte. Entscheidet er sich dagegen, kann die Klausur direkt aus den neu kreierten und aus bereits bestehenden Prüfungsfragen erstellt werden. Ist die Entscheidung zugunsten eines Reviewverfahrens gefallen, so kann zwischen einer fakultätsinternen fachspezifischen und/oder einer internen interdisziplinären Begutachtung gewählt werden. Hiernach kann ein institutsexternes fachspezifisches Reviewverfahren folgen, welches zur Konsequenz hat, dass die jeweiligen Prüfungsfragen der Allgemeinheit aller kooperierenden Institute zur Verfügung gestellt werden.

Bei der Erstellung einer Klausur besteht die Möglichkeit, auf diesen ständig wachsenden Pool qualitativ hochwertiger Prüfungsfragen zurückzugreifen. Die Erstellung einer aussagekräftigen, fein skalierten Klausur ist so möglich.

Nach der Generierung einer Klausur, kann diese im Gesamtkontext überschaut und bewertet und so nochmals überarbeitet werden. Der Import der Prüfungsfragen kann nicht nur online geschehen, sondern auch mittels CSV-Datei bzw. im XML-Format. Das XML-Format dient ebenso als Schnittstelle zur Ausgabe der Gesamtklausur oder einzelner Prüfungsfragen an lokale EDV-Systeme.

Das System kann nicht nur zur Erstellung von Abschlussklausuren, sondern auch zur Erzeugung von Übungsklausuren genutzt werden. Haben die Studierenden eine Übungsklausur absolviert, so können sie die einzelnen Prüfungsfragen mit Kommentaren versehen. Diese werden ebenso im System gespeichert wie die Kommentare sämtlicher anderer Nutzer des Systems. Somit ist es auch ohne Reviewverfahren möglich, wichtige Anmerkungen zu einzelnen Fragen zu geben bzw. zu lesen.

Nach Absolvierung der Klausur können die Prüfungsergebnisse bei Bedarf in das System importiert und eine automatische Auswertung vorgenommen werden. Auf diese Weise werden umfangreiche Statistiken zu den einzelnen Fragen erstellt, womit ein zusätzliches Kriterium für die Qualität einer Frage zur Verfügung steht.

Das elektronische Reviewverfahren scheint eine Vielzahl von Vorteilen gegenüber der gängigen Praxis der Begutachtung von Prüfungsfragen zu bieten. Das einfache Erstellen und Bewerten der Prüfungsfragen und der Gesamtklausur führt zu einer effizienteren Nutzung der Ressourcen Zeit und Geld. Prüfungsfragen müssen nicht auf postalischem Weg verschickt werden und die Begutachtung der Fragen kann zeitnah erfolgen.

Der Aufbau eines allgemein zugänglichen, ständig wachsenden Fragenpools führt zu einer weiteren Zeitersparnis, da auf Altfragen zurückgegriffen werden kann.

Mithilfe dieser Altfragen können auch Übungsklausuren absolviert werden, die die Studierenden dazu nutzen können, sich einen Eindruck von der bevorstehenden Klausur zu verschaffen und so gezielter für diese zu lernen. Die Kommentare der Studierenden können, zusätzlich zu den übrigen Statistiken und Bewertungen, wichtige Anhaltspunkte für Relevanz und Verständnis einer Prüfungsfrage liefern.

Die elektronische Auswertung der Prüfungen wird die Auswertungsfehler und den für die Korrektur aufzuwendenden Zeitaufwand auf ein Minimum reduzieren.

Den vielfachen Vorteilen des Systems steht der Nachteil der Entwicklungskosten gegenüber. Die potentiell zu erzielenden Einsparungen (Personal- und Verwaltungskosten) werden diese voraussichtlich innerhalb eines relativ kurzen Zeitraums amortisieren. Eine intensive Evaluation des elektronischen Reviewverfahrens erfolgt nach Abschluss der Pilotphase.