gms | German Medical Science

Zur Prüfung von Faktenwissen hat sich seit Jahrzenten im Medizinstudium das Multiple Choice-Verfahren etabliert. Um aber auch klinische Fertigkeiten prüfen zu können, wurde in den 70iger Jahren das Format der Objective Structured Clinical Examination (OSCE) [1] entwickelt. Zu den Eigenarten dieser Prüfungsform gehört, dass die Kandidaten und Kandidatinnen einen Parcours von 10 bis 20 Prüfungsstationen absolvieren müssen, bei denen sie jeweils innerhalb weniger Minuten eine definierte Aufgabe wie zum Beispiel Blutdruck messen durchführen müssen und dabei von einem Examinator anhand einer Kriterienliste beurteilt werden. Durch dieses Ablaufschema entsteht ein grosser logistischer Aufwand, bei dem vor allem der Bedarf an Räumlichleiten und Personal ins Gewicht fällt. Dieser grosse Ressourcenbedarf ist Gegenstand vieler Veöffentlichungen über die OSCE [2], [3], [4].

In Bern wurde die OSCE bzw. OSPE (Objective Structured Preclinical/Practical Examination) [5] im Rahmen einer umfassenden Reform der drei ersten Jahre des Medizinstudiums eingeführt. Seit Mitte der 90iger Jahre ist das Curriculum dieser drei Jahre nach den Prinizipien des Problem-Based Learning (PBL) [6] aufgebaut. Mit der Reform wurden auch die Prüfungen neu konzipiert. Diese erfolgen nun jeweils zu Semesterende und bestehen aus einer integrierten Multiple Choice-Prüfung sowie in den beiden vorklinischen Jahren in einer OSPE und im ersten klinischen Jahr in einer OSCE. Die OSPE ist ein der OSCE verwandtes Prüfungsverfahren, bei der das Schwergewicht auf praktischen bzw. präklinischen Fertigkeiten liegt. Um bei der OSPE die jeweils 240 (1. Studienjahr) bzw. 180 (2. Studienjahr) Kandidaten und Kandidatinnen durchschleusen zu können, muss der Parcours von 10 Stationen in drei Staffeln täglich an vier bzw. drei Tagen parallel geführt werden. Da nach Schweizer Gesetz bei mündlichen Prüfungen zwei Examinatoren anwesend sein müssen, ergibt dies einen Bedarf von 40 Examinatoren während vier bzw. drei Tagen. Mit 40 Prüfenden waren die personellen Ressourcen der vorklinischen Institute jedoch weitgehend ausgeschöpft und schon der Ausfall eines einzelnen Examinators drohte das System zum Einsturz zu bringen.

In dieser Situation wurde beschlossen, durch Einführung einer computerbasierten Histologieprüfung den personellen Bedarf für die OSPE zu reduzieren. Die neue Prüfungsform sollte zudem ein gleichwertiger Ersatz der bisher durchgeführeten mündlichen strukturierten Prüfung sein.

Unter Verwendung von DHTML und JavaScript wurde ein Modul entwickelt, bei dem die Kandidaten den Mittelpunkt eines mit einer Nummer versehenen Kreises genau über die zu bezeichnende Struktur ziehen müssen (siehe Abbildung 1 [Abb. 1] und Abbildung 2 [Abb. 2]). Das Bild selber bleibt so frei von Markierungen, die dem Kandidaten die Aufgabe erleichtern würden. Pro Bild werden sieben Strukturen angeboten, von denen aber nur fünf im Bild vorkommen. Innerhalb von 8 Minuten müssen die Kandidaten drei histologische Bilder und ein elektronenemikroskopisches Bild auf diese Weise bearbeiten. Beim letzten Bild muss noch das Organ und die Färbung erkannt werden. Der Ablauf der Prüfung ist so organisiert, dass die drei Staffeln von Kandidaten und Kandidatinnen sich nicht untereinander austauschen können. Ein Austausch zwischen den verschiedenen Prüfungstagen lässt sich aber nicht verhindern. Darum muss pro Prüfungstag ein eigenes Bilderset erstellt werden.

Im oben beschriebenen System der OSPE mit den parallel geführten Staffeln sind nur zwei Prüfungs-PCs notwendig. Diese sind mit einem Server im gleichen Raum verbunden und kommunizieren via Java Server Pages mit einer Datenbank, in der die Resultate gespeichert werden. Das Netzwerk ist rein lokal ohne jegliche Verbindung zu anderen Netzwerken. Bei den ersten Durchgängen wurden zur Dokumentation die Resultate jedes Bildes mit dem Ausdruck eines Screenshots festgehalten. Da jedoch nie technische Probleme auftraten, wurde inzwischen darauf verzichtet. Die Daten werden während der Prüfung kontinierlich gespeichtert, so dass im Falle einer Computerstörung der Kandidat oder die Kandidatin wieder an der Stelle fortfahren kann, wo er bzw. sie bei Auftreten der Störung stand.

Damit bei der computerbasierten Prüfung wirklich nur der verlangte Stoff und nicht zusätzlich die Computerfähigkeiten (Computer literacy) geprüft wurden, hatten die Studierenden die Möglichkeit, im Voraus die Bedienung des Moduls kennen zu lernen http://e-learning.studmed.unibe.ch/probemodul_jahr1/.

Das oben beschriebene Setting macht nicht mehr die Anwesenheit von insgesamt vier Examinatoren notwendig. Somit konnte der Bedarf an Fachexperten um 10% reduziert werden. Die Doppelstation kann in einem Raum aufgebaut und von einer einzigen, mehr technisch ausgerichteten, nicht unbedingt histologisch geschulten Person überwacht werden. Die technische Ausrüstung beschränkt sich auf zwei Prüfungs-PCs sowie einen Server-PC.

Neben dem personellen Bedarf für die eigentliche Prüfung haben wir auch den personellen Aufwand zur Vor- und Nachbereitung in unsere Berechnung aufgenommen. Bei der bisherigen Prüfung waren 4 Personentage (PT) für die Vorbereitung der Prüfung, 16 PT für die Durchführung und 1 PT für die Auswertung nötig (total 21 PT). Bei der ersten Durchführung der computerbasierten Prüfung waren 28 PT für die Entwicklung, 7 PT für die Vorbereitung der eigentlichen Prüfung (Auswahl und Aufbereitung der Bilder) und 4 PT für die Prüfung selbst nötig (total 39 PT). Da die Auswertung bei der computerbasierten Prüfung unmittelbar stattfindet, fällt hier kein Arbeitsaufwand mehr an. Im Sommer 2005 kam das computerbasierte Prüfungsmodul zum 6. Mal zum Einsatz. Da Bilder von früheren Prüfungen wieder verwendet werden konnten, hat sich der Aufwand für die Vorbereitung inzwischen auf 2 PT reduziert. Somit konnte der Gesamtaufwand von 21 PT (altes System) auf 6 (neues System im wiederholten Einsatz) reduziert werden. Diese Berechnung bezieht sich auf eine 4 Tage dauernde OSPE. Bei einer 3 Tage dauernden OSPE lauten die Zahlen 17 bzw. 5 Personentage. Auf ein Jahr bezogen ergibt sich eine Einsparung von 54 PT (2 x 15 PT plus 2 x 12 PT).

Die psychometrischen Parameter (siehe Tabelle 1 [Tab. 1]) Schwierigkeit, Diskrimination und Zuverlässigkeit (Crohnbach ) fielen bei der computerbasierten Prüfung gleich oder tendenziell besser aus als bei der im Vorjahr durchgeführten mündlichen strukturierten Prüfung.

Die OSCE bzw. OSPE werden von den Berner Studierenden sehr geschätzt. Diese Art der Prüfung vermittelt ihnen das Gefühl, praktische Fertigkeiten nicht vergeblich erlernt zu haben. Somit setzen der OSCE und der OSPE wichtige Impulse für das Lernverhalten der Studierenden. Der hohe Ressourcenbedarf der OSCE bzw. OSPE ist jedoch eines der gewichtigen Argumente gegen diese Art von Prüfung. In einer Zeit der knappen Geld- und Personalmittel wiegen diese Argumente besonders schwer. Mit dem von uns entwickelten computerbasierten Prüfungsmodul ist es uns gelungen, den personellen Aufwand sowohl für die Durchführung der Prüfung als auch für die Vor- und Nachbereitung zu reduzieren.

Die Ansprüche an die technische Ausrüstung sind mit 2 Prüfungs-PCs und einem Server-PC bescheiden. Eine entsprechende Ausrüstung lässt sich an den meisten universitären Institutionen ohne grosse Probleme beschaffen und einrichten. Die Kosten belaufen sich im Falle einer Neuanschaffung auf höchstens € 6.000. Sicherheitsprobleme wie Hacking können durch die Konfiguration mit einem in sich geschlossenen lokalen Netzwerk ausgeschaltet werden. Eine kontinuierliche Speicherung der Daten auf dem Server schützt vor Datenverlust.

Computerbasierte Histologieprüfungen wurden auch von Heidger [7] und Kumar [8] beschrieben. Bei Ihnen steht aber die logistische Vereinfachung im Vordergrund der Argumentation und nicht die Ressourceneinsparung. So wird bei Heidger das bisherige Prüfungssystem beibehalten und einzig das reale Mikroskop durch ein virtuelles ersetzt. Die Studierenden beantworten die Fragen wie bisher auf Papierbögen. Die Auswertung erfolgt von Hand. Heidger sieht den grossen Vorteil seines Systems in der dazugehörugen Bilddatenbank. Dank dieser lassen sich die Prüfungen mit weniger Aufwand vorbereiten. Ein positiver Effekt, der auch bei unserem System zum Tagen kommt.

Kumar gibt keine detailierte Beschreibung seiner computerbasierten Histologieprüfung. Bei seinem System ist aber der Einsatz von über hundert Client-PCs nötig, was entsprechende PC-Pools voraussetzt. Bei zeitgleicher Prüfung aller Kandidaten und Kandidatinnen am Computer ist es unvermeidlich, dass gleich viel PCs, wie es zu Prüfende gibt, bereitgestellt werden müssen. Hier erweist sich das Parcourssystem der OSPE als Vorteil. Da nur immer 2 Kandidaten oder Kandidatinnen gleichzeitig geprüft werden, sind auch nur zwei computerbasierte Prüfungsstationen nötig.

Beide Autoren haben das Abschneiden der Kandidaten und Kandidatinnen vor und nach Einführung der computerbasierten Prüfungsform verglichen. Sie konnten wie wir keinen signifikanten Unterschied feststellen. Die Histologieprüfung mittels Computer darf somit den bisherigen Prüfungsmethoden für Histologie gegenüber als ebenbürtig angesehen werden.

Ein immer wiederkehrender Diskussionspunkt im Zusammenhang mit der computerbasierten Histologieprüfung ist der Wegfall des Mikroskops. Heidger und Kumar gehen nicht auf diesen Punkt ein. Der Vorwurf ist jedoch nicht berechtigt, da eine Histologieprüfung nur Histologiewissen prüfen sollte. Die Prüfung der Fertigkeit im Umgang mit dem Mikroskop ist korrekterweise ein eigener Prüfungsgegenstand, dem mit einer entsprechenden OSPE-Station Rechnung getragen werden muss.

Die computerbasierte Histologieprüfung hat sich in Bern bewährt. Die personenellen Ressourceneinsparungen sind nach anfänglichem Mehraufwand beträchtlich. Da das Problem des personellen Engpass in Bern sich auch bei den OSCE im dritten Studienjahr stellt, wird der Einsatz dieser Prüfungsform nun für die Pathologie und die Radiologie erwogen.

Das von uns entwickelte computerbasierte Prüfungsmodul eignet sich überall, wo die Interpretation von Bildern von zentraler Bedeutung ist. Dies ist im Bereich der Medizin besonders bei der Pathologie, der Hämatologie und der Radiologie der Fall. Es ist aber ohne weiteres vorstellbar, dass das Modul auch mit Bildern von Hautveränderungen oder von Fundoskopien in der Dermatologie bzw. in der Ophthalmologie eingesetzt wird. Einer Nutzung des Moduls durch andere Universitäten stehen wir offen gegenüber. Die Bedingungen wurden bisher noch nicht definiert und sind somit verhandelbar. Eine kommerzielle Verwertung ist nicht geplant.

Durch den Einsatz von Computern kann der hohe Ressourcenbedarf von OSCE bzw. OSPE vermindert werden. Computerbasierte Prüfungsstationen können somit mithelfen, dass das Argument beschränkter personeller Ressourcen gegen dieses wertvolle Prüfunsgverfahren abgeschwächt wird.