gms | German Medical Science

Seit November 2004 werden an der Medizinischen Fakultät der Universität Heidelberg rechnerunterstützte summative Prüfungen mit der CAMPUS-Prüfungssoftware erfolgreich durchgeführt [3]. Das Prüfungsmodell ist an dem von Page und Bordage vorgeschlagenen Ansatz der Keyfeature-Fälle ausgerichtet [4]. Neben den klassischen Multiple-Choice-Fragen wird auch die Verwendung moderner komplexer Fragetypen wie Matrix-, Lückentext-, Longmenu u.a. unterstützt. Das Ziel einer summativen Prüfung ist die Leistung des Geprüften zu bewerten.

Die formative Prüfung hingegen fokussiert die Wissensvermittlung und wird durch Black und Wiliam wie folgt definiert:

„(…) encompassing all those activities undertaken by teachers, and/or by their students, which provide information to be used as feedback to modify the teaching and learning activities in which they are engaged” [5]

Aus dieser Definition geht hervor, dass eine formative Prüfung Informationen liefert, die in Form von Feedback sowohl dem Geprüften als auch dem Prüfer zu Gute kommen und auf beiden Seiten eine Art Lerneffekt hervorruft. Das Feedback nach einer formativen Prüfung kann einem Studierenden oder einer ganzen Gruppe gegeben werden, wobei bezogen auf den gewünschten Wissenserwerb, das direkte Feedback an einzelne Studenten zu bevorzugen ist.

Der Dozent erhält das auf ihn ausgerichtete Feedback durch die formative Prüfung an sich. Das Feedback hilft ihm kollektive und individuelle Schwächen der Studierenden zu erkennen. Das häufige Auftreten einer kollektiven Schwäche kann dazu veranlassen eine Lerneinheit inhaltlich anders zu gestalten. Um ein inhaltlich optimales Feedback geben zu können, müssen die Mittel, mit denen formativ geprüft wird, in der Lage sein die dafür notwendigen Informationen zu liefern [6]. Aktuelle Bestrebungen des Labors für Computergestützte Lehr-/Lernsysteme des Universitätsklinikums Heidelberg zielen darauf ab, formative Prüfungen rechnerunterstützt durchzuführen und zu bewerten. Bestärkt wird dieses Vorhaben durch die ärztliche Approbationsordnung in Deutschland, die vorsieht, dass medizinische Curricula und Unterrichtsveranstaltungen problemorientiert und fallbasiert zu gestalten sind [1], was die Notwendigkeit von problemorientierten, fallbasierten Prüfungen zur Folge hat. Zur Durchführung von solchen von der Ausrichtung her eher formativen als summativen Prüfungen bieten sich fallbasierte Computer-based Training Systeme (CBT) an.

Am Beispiel des Lehr- und Lernsystems CAMPUS ist ein Konzept zur Bewertung von medizinischen Handlungen erarbeitet worden [2]. Die bei der Bearbeitung eines klinischen Falls anfallenden atomaren medizinischen Handlungen werden hierbei zur Bewertung herangezogen, wobei diese Handlungen nicht weiter in Einzelhandlungen untergliedert werden können. Im Wesentlichen werden das Stellen von Anamnesefragen, das Verordnen von Therapien bzw. das Durchführen konkreter technischer, labortechnischer und körperlicher Untersuchungen als atomare medizinische Handlung bezeichnet. Auch das Stellen von Diagnosen zählt zu den atomaren medizinischen Handlungen, weil dieser Vorgang als Handlung im kognitiven Sinne gesehen werden kann. Die Kategorisierung medizinischen Handelns nimmt im Konzept zur rechnerunterstützten Bewertung einer formativen Prüfung eine zentrale Rolle ein, wobei die vorhandenen Kategorien in Relation zur Art der medizinischen Handlung stehen. Bei der Anamnese findet beispielsweise eine Einteilung der Anamnesefragen in die Kategorien „indiziert“ und „nicht relevant“ statt, wobei nur die für eine fokussierte Anamnese notwendigen Fragen in die Kategorie indiziert eingeteilt werden. Jeder Kategorie kann vom Prüfer ein Punktwert zugeordnet werden, der zur späteren Bewertung der Fallbearbeitung herangezogen wird. Die Einteilung der Diagnosen in die Kategorien „indiziert“, „Alternativdiagnose“, „Alternativdiagnose mit geringerer Bewertung“ und „nicht indiziert“ verdeutlicht, dass auch alternative Lösungsvorschläge im Bewertungskonzept berücksichtigt werden. In die Kategorie „Alternativdiagnose“ sind all jene Diagnosen einzuteilen, die zwar nicht in der Musterlösung vorgesehen sind, aber als gleichwertiger Lösungsvorschlag betrachtet werden können. Dies kann jedoch dazu führen, dass in der Menge der vom Rechner erkannten alternativen Lösungsvorschläge inhaltliche Äquivalente vorhanden sind, die automatisiert nicht als solche erkannt werden können. Daher sieht das Bewertungskonzept im Fall, dass mehrere Lösungen der Kategorie „Alternativ“ gewählt wurden, eine manuelle Bewertung durch den Bewertenden vor.

Die rechnerbasierte Realisierung des Bewertungskonzepts lässt sich in folgende Teilbereiche untergliedern:

Schrittweise soll zu einem Fall eine Wissensbasis aufgebaut werden, in der jeder medizinischen Handlung eine Kategorie zugeordnet ist, wodurch sich die teilautomatisierte Bewertung einer Fallbearbeitung allmählich einer vollautomatischen Bewertung annähert. Auf der Grundlage der vorhandenen Wissensbasis wird jeder medizinischen Handlung, die für die Bewertung relevant ist, ein Status zugeordnet, wobei die Status „Erkannt“, „Nicht Erkannt“ und „Konflikt“ unterschieden werden.

Ist einer medizinischen Handlung, bezogen auf einen bestimmten Fall, bereits eine Kategorie zugeordnet, so bekommt sie den Status „Erkannt“ zugeordnet. Mit anderen Worten bedeutet „Erkannt“, dass die medizinische Handlung schon vor der aktuell zur Bewertung stehenden Fallbearbeitung kategorisiert worden ist und somit ein Eintrag in der fallbezogenen Wissensbasis vorhanden ist. Dies macht allerdings keine Aussage über die Korrektheit der medizinischen Handlung.

„Nicht Erkannt“ bedeutet hingegen, dass die medizinische Handlung bisher noch in keiner der zuvor bewerteten Fallbearbeitungen zu einem Fall vorhanden gewesen ist und aus diesem Grund noch kein Eintrag in der Wissensbasis existiert. Die Zuordnung einer Kategorie zu einer nicht erkannten medizinischen Handlung muss manuell durch den Benutzer erfolgen, weshalb nur von einer teilautomatischen Bewertung durch das System gesprochen werden kann. Jedoch vergrößert sich mit jedem Eintrag in der Wissensbasis sukzessive der Anteil der automatisch kategorisierten medizinischen Handlungen.

Durch die Verwendung von hierarchisch gegliederten Vokabularen, aus denen medizinische Handlungen während einer Fallbearbeitung selektiert werden können, wird der Aufbau der Wissensbasis beschleunigt, da bei der Kategorisierung einer gestellten Diagnose oder verordneten Therapie allen medizinischen Handlungen, die der medizinischen Handlung in der Hierarchie des Vokabulars untergeordnet sind, die gleiche Kategorie wie der Übergeordneten zugeteilt wird, sofern für diese nicht schon eine andere Zuordnung vorgenommen worden ist.

Manchen medizinischen Handlungen kann die Kategorie „Alternativ“ bzw. „Alternativ mit geringerer Bewertung“ zugeordnet werden, was bedeutet, dass eine medizinische Handlung als gleichberechtigt bzw. als vermindert gleichberechtigt zu einer vom Fallautor vorgeschlagenen medizinischen Handlung angesehen wird. Für medizinische Handlungen der Kategorie „Alternativ“ wird die volle Punktzahl, für medizinische Handlungen der Kategorie „Alternativ mit geringerer Bewertung“ eine entsprechend verringerte Punktzahl vergeben.

Ist in einer Menge von medizinischen Handlungen desselben Typs mehr als eine Handlung der Kategorie „Alternativ“ enthalten, so bekommen alle Elemente dieser Menge, die der Kategorie „Alternativ“ angehören, den Status „Konflikt“ zugeordnet (entsprechendes gilt für die medizinischen Handlungen der Kategorie „Alternativ mit geringerer Bewertung“). Dieser Status bringt zum Ausdruck, dass die medizinischen Handlungen zwar erkannt worden sind, aber dennoch vom System nicht automatisch bewertet werden können, da in der Menge von Alternativlösungen wie zuvor erwähnt inhaltliche Äquivalente enthalten sein können, die vom System nicht unterschieden werden können. Alle medizinischen Handlungen eines bestimmten Typs werden zu einer Konfliktmenge zusammengefasst. Die Punktevergabe für die medizinischen Handlungen einer Konfliktmenge muss vom Bewertenden der Fallbearbeitung manuell vorgenommen werden, um sicherzustellen, dass für äquivalente Handlungen nicht mehrfach Punkte vergeben werden.

Sind alle medizinischen Handlungen einer Fallbearbeitung kategorisiert und sind keine Konflikte mehr vorhanden, ist die Bewertung abgeschlossen und das Ergebnis kann angezeigt und gespeichert werden. Durch die oben beschriebene Verwendung einer sich aufbauenden Wissensbasis ist damit zu rechnen, dass nach der Bewertung von einigen Fallbearbeitungen kaum noch medizinische Handlungen nicht erkannt werden und sich somit die Zeit, die für die Bewertung einer einzelnen Fallbearbeitung benötigt wird, signifikant verringert.

Eine Wissensbasis, welche die Kategorisierung von medizinischen Handlungen enthält, ist nicht nur individuell für jeden Fall, sondern auch für einen Benutzer, der mittels der Anwendung Prüfungen durchführt. Die Verwendung einer Wissensbasis für alle Personen, die einen Fall für eine Prüfung einsetzen, steht im Konflikt mit unterschiedlichen Lehrmeinungen, die in einem Fachgebiet vorhanden sein können. So ist Person A beispielsweise bereit eine medizinische Handlung als Alternativlösung mit voller Punktzahl anzuerkennen, Person B hingegen nicht. Aus diesem Grund ist die Wissensbasis sowohl an den CAMPUS-Fall als auch an einen bestimmten Benutzer des Autorensystems gekoppelt.

Als weiterer Bewertungsfaktor neben der Kategorisierung der einzelnen medizinischen Handlungen kann die Fallbearbeitungschronologie herangezogen werden, welche die Darstellung der genauen Reihenfolge abbildet, in der die medizinischen Handlungen in einer Fallbearbeitung erfolgt sind. Die Fallbearbeitungschronologie wird in Form einer Zeitleiste dargestellt, wobei die angezeigten Elemente der Übersichtlichkeit wegen nicht atomaren medizinischen Handlungen, sondern sogenannten Handlungsgruppen entsprechen. Eine Handlungsgruppe ist ein Zusammenschluss von atomaren medizinischen Handlungen desselben Typs, wobei körperliche, technische und labortechnische Untersuchungen trotz unterschiedlichen Typs zu einer Handlungsgruppe des Typs Untersuchungen bzw. Kontrolluntersuchungen zusammengefasst werden. Die einzelnen medizinischen Handlungen einer Handlungsgruppe können auf Wunsch angezeigt werden. Dies ermöglicht die manuelle Beurteilung des medizinischen Vorgehens durch den Fallbewerter.

Um der zentralen Rolle des Feedbacks bei formativen Prüfungen gerecht zu werden [7], können bezogen auf einen Fall zwei unterschiedliche Berichte generiert werden. Der erste Bericht stellt eine Übersicht zu einer einzelnen Fallbearbeitung dar und richtet sich als direktes Feedback an den Fallbearbeiter. Dieses Feedback wird direkt genannt, weil es sich an einen einzelnen Fallbearbeiter wendet und sich explizit auf dessen Fallbearbeitung bezieht.

Der zweite Bericht stellt eine Übersicht über die Bearbeitung eines Falls durch ein Fallbearbeitungskollektiv dar. Ein Fallbearbeitungskollektiv repräsentiert die Menge der Fallbearbeitungen, die zu einem speziellen Fall vorhanden sind.

Die Übersicht über ein Fallbearbeitungskollektiv ermöglicht in Abhängigkeit von der Prüfungssituation ein indirektes Feedback an einen individuellen Fallbearbeiter. Indirekt bedeutet in diesem Zusammenhang, dass sich das eigentliche Feedback an das gesamte Kollektiv richtet, das einen Fall bearbeitet hat, wobei jeder Fallbearbeiter daraus seinen individuellen Nutzen zieht. Voraussetzung dafür ist folgendes Szenario:

Die formative Prüfung wird im Vorfeld oder während einer Lerneinheit bzw. eines Praktikums abgehalten, wodurch ein Dozent, der die Fallbearbeitungen bewertet, einen Überblick über die Stärken und Schwächen der ihm zugeteilten Studierenden bekommt. Die Studierenden treten bezogen auf die Prüfung als Fallbearbeitungskollektiv in Erscheinung. Globale Schwächen innerhalb eines Kollektivs, beispielsweise das bearbeitungsübergreifende Stellen einer bestimmten falschen Diagnose, können auf zwei plausible Ursachen zurückgeführt werden.

Einerseits kann der Prüfungsfall selbst an manchen Stellen noch verbesserungsbedürftig sein. In diesem Fall kann die Fallbearbeitungskollektivübersicht dabei helfen, Verbesserungsmöglichkeiten zu identifizieren.

Andererseits kann die Schwäche auf Verständnisschwierigkeiten innerhalb einer Gruppe von Studierenden hinweisen, die durch Wissenslücken zu erklären sind. Diese Ursache ist besonders dann wahrscheinlich, wenn die allgemeine Schwäche bei Fallbearbeitungskollektiven vorhergehender Prüfungen mit demselben Prüfungsfall nicht vorhanden gewesen ist. In diesem Fall kann der Fallbewerter jedem einzelnen Mitglied des Kollektivs ein indirektes Feedback geben, in dem er sich an die gesamte Gruppe wendet und versucht, zur effizienten Schließung der vorhandenen Wissenslücken in seiner Lehrveranstaltung bzw. seinem Praktikum beizutragen. Somit kann die Fallbearbeitungskollektivübersicht dabei helfen, sowohl die Qualität des Prüfungsfalls als auch die Qualität einer Lehrveranstaltung zu verbessern.

Aufbauend auf dem zuvor beschriebenen Konzept ist ein Prototyp entwickelt worden, der die Grundlage für die Validierung des Konzepts durch die zukünftigen Anwender darstellt. Dieses Vorgehen ist gewählt worden, da durch prototypische Entwicklung noch nicht berücksichtigte Ideen zu Tage gefördert werden können, die zu diesem Zeitpunkt der Entwicklung noch ohne großen Aufwand eingeflochten werden können [8].

Abbildung 1 [Abb. 1] zeigt die Darstellung einer Fallbearbeitung, wobei diese sowohl hierarchisch (1) als auch chronologisch (3) präsentiert wird. Die hierarchische Darstellung ermöglicht dabei den gezielten Zugriff auf einzelne medizinische Handlungen. Die chronologische Darstellung ist wie zuvor erwähnt einer Zeitleiste nachempfunden, auf der die medizinischen Handlungen zu Handlungsgruppen zusammengefasst angezeigt werden. Die in einer Handlungsgruppe enthalten medizinischen Handlungen werden nach Auswahl derselben aus der Zeitleiste in tabellarischer Form angezeigt. Die Details zu einer medizinischen Handlung werden nach deren Auswahl aus der hierarchischen Darstellung oder der tabellarischen Auflistung angezeigt. Diese umfassen eine Beschreibung der medizinischen Handlung, den Zeitpunkt des Handelns innerhalb einer Fallbearbeitung, die Dauer der Handlung, der zugeordnete Status bzw. die zugeordnete Kategorie und die für die Handlung vergebene Punktzahl.

Die wichtigsten Ergebnisse der Diskussion des Prototyps und des dahinter stehenden Konzepts mit den späteren Anwendern sind zum einen, dass die im Konzept vorgesehenen Kategorien, die zur Kategorisierung einer medizinischen Handlung zur Verfügung stehen, bei Bedarf nutzerabhängig individualisiert werden können. Zum anderen soll die Möglichkeit geschaffen werden eine einzelne medizinische Handlung oder eine ganze Handlungsgruppe mit einem Freitextkommentar zu versehen. Diese Kommentare sollen in der Übersicht zu einer einzelnen Fallbearbeitung erscheinen, um ein intensiveres direktes Feedback zu ermöglichen. Des Weiteren sollen bei massiven Abweichungen innerhalb eines Fallbearbeitungskollektivs von der Musterlösung des Fallautors Warnungen ausgegeben werden, die die Ermittlung des indirekten Feedbacks erleichtern.

Auf der Grundlage eines durch eine Ärztin erarbeiteten Bewertungskonzepts für eine Fallbearbeitung ist die rechnerbasierte Umsetzung und Erweiterung desselben entwickelt worden. Auf dieser Grundlage ist ein Prototyp entstanden, mit dessen Hilfe die Anforderungen an die Anwendung, die den Einsatz des CAMPUS Classic-Players für rechnerbasierte formative Prüfungen ermöglichen soll, zusammen mit den zukünftigen Anwendern validiert worden ist. Daran anschließend ist mit der Realisierung der Software begonnen worden, die durch diese Anforderungen definiert wird. Aktuell ist die detaillierte Darstellung einer Fallbearbeitung realisiert, die eine manuelle Bewertung einer Fallbearbeitung ermöglicht. Des Weiteren kann ein Schnellbericht generiert werden, mit dem zeiteffizient überprüft werden kann, ob Pflichtfallbearbeitungen tatsächlich durchgeführt worden sind. In diesem Bericht wird zu einer Fallbearbeitung die Anzahl zeitlicher Inplausibilitäten angezeigt. Eine zeitliche Inplausibilität entsteht, wenn die Dauer einer medizinischen Handlung oder einer Handlungsgruppe statistisch signifikant von der allgemeinen Dauer im Prüfungskollektiv abweicht. Eine Häufung von zeitlichen Inplausibilitäten ist ein starkes Indiz für einen Betrugsversuch und soll dazu veranlassen die Fallbearbeitung manuell zu überprüfen.

Zunächst ist der Einsatz des rechnerunterstützten formativen Prüfens mit Hilfe des zuvor beschriebenen Systems als Zulassungsvoraussetzung für Praktika oder ähnliches angedacht, wobei die Praktikabilität des Systems in diesem Zusammenhang noch evaluiert werden muss. Bisher mangelt es noch an Metriken zur qualitativen Bewertung medizinischen Handelns, die auf den Rechner übertragen werden können. Obwohl ein erster Schritt in die Ermittlung solcher Metriken getan ist, sind formative Prüfungen, denen eine größere Bedeutung als die zuvor beschriebene zukommt, noch nicht denkbar. Des Weiteren hängt die Qualität einer formativen Prüfung in maßgeblich von der Bereitschaft ab, Feedback zu geben und dafür Zeit aufzuwenden. Das konzipierte System kann lediglich die Zeit für die Ermittlung des notwendigen Feedbacks reduzieren und einen Beitrag zur Akzeptanz der formativen Prüfungsform leisten.