gms | German Medical Science

GMS Medizinische Informatik, Biometrie und Epidemiologie

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS)

ISSN 1860-9171

Fallbasierte Online-Prüfungen im Medizinstudium - Zielsetzung, Implementierung und praktische Erfahrungen

Case-based computerized examinations for medical students - objective, implementation and experiences

Originalarbeit

  • corresponding author Thomas Rotthoff - Klinik für Endokrinologie, Diabetologie und Rheumatologie, Universitätsklinikum Düsseldorf, Düsseldorf, Deutschland
  • author Thomas Baehring - Klinik für Endokrinologie, Diabetologie und Rheumatologie, Universitätsklinikum Düsseldorf, Düsseldorf, Deutschland
  • author Hans-Dieter Dicken - Deutsches Diabetes Zentrum, Düsseldorf, Deutschland
  • author Urte Fahron - Zentralinstitut für Klinische Chemie und Laboratoriumsmedizin, Universitätsklinikum Düsseldorf, Düsseldorf, Deutschland
  • author Martin R. Fischer - Medizinische Klinik - Innenstadt, Klinikum der Universität München, Arbeitsgruppe Schwerpunkt Medizindidaktik, München, Deutschland
  • author Martin Adler - Instruct AG, München, Deutschland
  • author Inga Hege - Medizinische Klinik - Innenstadt, Klinikum der Universität München, Arbeitsgruppe Schwerpunkt Medizindidaktik, München, Deutschland
  • author Werner A. Scherbaum - Klinik für Endokrinologie, Diabetologie und Rheumatologie, Universitätsklinikum Düsseldorf, Düsseldorf, Deutschland

GMS Med Inform Biom Epidemiol 2006;2(3):Doc11

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/journals/mibe/2006-2/mibe000030.shtml

Published: November 23, 2006

© 2006 Rotthoff et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Zusammenfassung

Medizinstudierenden fehlt es oftmals an der Fähigkeit, Strategien zur Lösung von Problemen mittels geeigneter diagnostischer und therapeutischer Maßnahmen zu entwickeln. Hierfür bieten sich Fallstudien als geeignetes Lern- und Prüfungsformat an. Für fakultätsinterne Prüfungen spielen neue, computerbasierte Prüfungsformate eine wichtige Rolle, da mit ihnen das chronologische Vorgehen an klinischen Fällen gut simuliert werden kann. Gleichzeitig erlaubt das Prüfungsverfahren auch den Einsatz neuer Frage- bzw. Antwortformate. Vor diesem Hintergrund wurde an der Heinrich-Heine-Universität Düsseldorf mit CASUS erstmalig in Deutschland ein fall- und computerbasiertes Lernsystem zum Lernen mit anschließender internetbasierter Online-Prüfung verbindlich eingesetzt. Die Prüfungen wurden mit ca. 140 Studierenden im Universitätsrechenzentrum durchgeführt. Mit der Einführung der Online-Prüfung stieg der Nutzungsgrad der CASUS-Lernfälle während des Semesters deutlich an. Neben den Lernfällen fand auch die Online-Prüfung eine hohe Akzeptanz bei den Studierenden. Trotz des kostengünstigen Einsatzes multimedialer Elemente und der didaktischen Vorteile der Online-Prüfung ist der administrative Aufwand momentan noch größer und die Durchführung störanfälliger als eine klassische Papierklausur mit Antwortwahlverfahren. Für summative Prüfungen müssen aktuell noch Probleme der Justiziabilität und technischen Sicherheit für den Routineeinsatz gelöst werden, weshalb sich gegenwärtig der Einsatz insbesondere für formative Prüfungen anbietet.

Schlüsselwörter: computerbasierte Prüfung, fallbasiertes E-Learning, klinische Entscheidungsfindung, Online-Prüfung, Key-Feature

Abstract

Medical students often lack the ability to develop strategies for problem solving based on adequate diagnostic and therapeutic measures. Case studies are an appropriate learning as well as examining tool for this purpose. For in-house examinations new computer based examinations are playing an important role, because they permit a chronological approach to clinical cases. At the same time this method allows the use of new question and answer formats. Based on this background CASUS was introduced at the Heinrich-Heine-University of Duesseldorf as a mandatory case and computer-based learning system including an online computer-based exam for the first time in Germany. About 140 students participated in the examination which was held at the university’s computer centre. The introduction of the online examination led to a significant increase in the use of the CASUS study cases during the term. The study cases as well as the online examination were accepted very well among the students. Despite the cost-effective use of this multimedia method and its didactic advantages it currently requires more administrative efforts and is more interference-prone than traditional paper based examinations with multiple choice questions. Problems of justiciability and technological safety have to be solved first before a routine use in summative evaluation of learning. Therefore, at present online examinations can serve for the formative evaluation of learning.

Keywords: computer-based evaluation, case-based E-learning, clinical decision making, online examination, key feature


Einleitung

Geänderte Rahmenbedingungen an den Universitäten machen neue Lern- und Lehrmethoden erforderlich. Diese müssen dem Anspruch gerecht werden, trotz knapper Lehrkapazität für Ausbildungszwecke eine große Zahl von Studierenden in kleinen Gruppen in die klinischen Abläufe zu integrieren und gleichzeitig eine messbare Verbesserung des Wissenstransfers zu erzielen. E-Learning auf der Grundlage von multimedial gestalteten klinischen Fällen stellt dafür eine realistische und anwendungsorientierte Ergänzung der Lehre und des Lernens in der Medizin dar [1], [2] die interdisziplinär genutzt werden kann.

Die Entwicklung von klinischer Expertise wird als eine zu vermittelnde Kernkompetenz angesehen. Es wurde nachgewiesen, dass Lernen innerhalb eines realen klinischen Kontextes später besser reproduzierbar und auf andere klinische Situationen übertragbar ist [3], [4]. In den vergangenen Jahren hat die Ausbildungsforschung zeigen können, dass Lernen ein aktiver Prozess ist, bei dem Neues mit bereits vorhandenem Wissen verknüpft wird [5], [6] und dass dabei ein interaktiver Prozess das Lernen fördert. Ergänzend zur Behandlung realer Patienten kann der Einsatz fallbasierter und realitätsnah gestalteter E-Learning Fälle diesem Lernprozess Rechnung tragen.

In den letzten Jahren wurde eine Vielzahl computerbasierter Lernsysteme entwickelt, aber nur wenige fanden den Weg zu einer breiteren Anwendung und curricularen Integration. Neben Akzeptanzproblemen, inhaltlichen Schwächen, ungeeigneten Lernszenarien und ökonomischen Gründen ist eine fehlende Prüfungsrelevanz des beim E-Learning vermittelten Wissens ein wichtiger Grund für die mangelnde Akzeptanz bei Studierenden als auch bei den Dozenten. Das Lernverhalten der Studierenden richtet sich aber im Wesentlichen nach der Vorgabe des Prüfungsformates. Durch die neue Approbationsordnung für Ärzte [7] wurde die Anzahl der medizinischen Staatsexamina reduziert, und die Universitäten wurden angewiesen, an den Fakultäten interne, notenrelevante Prüfungen eigenständig durchzuführen. Um am Ende gut ausgebildete Ärztinnen und Ärzte aus der universitären Ausbildung zu entlassen, müssen verschiedene, sich ergänzende Lern- und Prüfungsformate eingesetzt werden, die die verschiedenen Ebenen ärztlichen Handelns adäquat widerspiegeln. Neben praktischen Fertigkeiten fehlt es den Studierenden oftmals an der Fähigkeit, Strategien zur Lösung von Problemen mittels geeigneter diagnostischer und therapeutischer Maßnahmen zu entwickeln. Fallstudien bieten sich hierfür als geeignetes Prüfungsformat an und sollen künftig auch Bestandteil des Zweiten Abschnittes der ärztlichen Prüfung sein [8].

Vor dem Hintergrund dieser Entwicklung wurde an der Medizinischen Fakultät der Heinrich-Heine-Universität Düsseldorf erstmalig in Deutschland im Sommer 2004 mit CASUS ein fall- und computerbasiertes Lernsystem zum Lernen mit anschließender internetbasierter Online-Prüfung verbindlich eingesetzt [9]. Seitdem wurde diese Prüfung regelmäßig am Ende des 7. Semesters mit ca. 140 Studierenden durchgeführt. Eine curriculare Integration wurde erreicht, da für das 7. und 8. Semester (2. klinisches Studienjahr) mit Beginn des Sommersemesters 2004 ein fachübergreifender Unterricht eingeführt wurde, der sich in 24 symptombezogene Wochenmodule (z.B. Ödeme, Dickes Gelenk, Blutung) aufteilt. Diese interdisziplinären Module boten sich für eine fallbasierte Online-Prüfung an. Drei dieser Module (Diabetes, Anämie, Perioperatives Risiko) wurden mit der Online-Prüfung am Ende des Semesters geprüft. Die Prüfung war für die Studierenden verpflichtend und es konnten Bonuspunkte für die Abschlussklausur in Innerer Medizin erworben werden. Für das Projekt „Online-Prüfung“ wurde eine Arbeitsgruppe gegründet, die die Prüfungen vorbereitet, die Studierenden beim Lernen unterstützt und den Dozenten technische und didaktische Hilfen bei der Fallerstellung und beim Prüfen anbietet.

An der Klinik für Endokrinologie, Diabetologie und Rheumatologie der Heinrich-Heine-Universität Düsseldorf bestehen in Kooperation mit der Universität München durch Förderprogramme des BMBF seit mehreren Jahren Erfahrungen in der Entwicklung und dem Einsatz des fallbasierten E-Learning Programms CASUS [2], [10], [11], [12]. Das CASUS-System (Abbildung 1 [Abb. 1]) umfasst folgende webbasierte Hauptkomponenten, die über eine einheitliche Web-Schnittstelle zur erreichen und zu bedienen sind:

  • Kurs-Auswahl und Falldatenbank
  • Autorenmodul
  • Lernmodul (CASUS-Player)
  • Prüfungsmodul (CASUS-Player im Prüfungsmodus)
  • Administratormodul/Kursverwaltung (zum Einrichten, Verwalten und Evaluieren von Studentenkursen)

Die Fälle sowie sämtliche Nutzungsdaten werden in einer Oracle Datenbank serverbasiert gespeichert. Die gesamte Anwendung wurde mit Java Servlets und Web-Templates implementiert.

Didaktische Vorteile einer fallbasierten Prüfung am Computer

Die Validität einer Prüfung kann durch einen höheren Realitäts- bzw. Praxisbezug verbessert werden. Deshalb werden zunehmend Prüfungsfragen eingesetzt, die in einen klinischen Kontext eingebettet sind [13]. Ein solches Format stellt die Prüfung auf der Basis von klinischen Fällen dar. Diese können in Form von sogenannten Key–Features klinische Entscheidungsfindungen prüfen. Der Begriff des Key-Feature wurde von Page und Bordage als ein kritischer Schritt bei der Lösung eines Problems definiert [14], [15]. Darunter können sowohl die entscheidenden Schritte in der Diagnostik oder Therapie eines Krankheitsbildes als auch die Schritte, bei denen die Studierenden häufig Fehler machen, verstanden werden. Fischer et al. [16] konnten in einer Pilotstudie zeigen, dass eine elektronische Prüfung mit Key-Feature Fällen durchführbar ist und zu zuverlässigen Prüfungsergebnissen kommen kann. Für solche, in ihrer zeitlichen Dimension chronologisch angelegten Prüfungsformate, bietet die fallbasierte Prüfung am Computer methodische Vorteile.


Praktische Erfahrungen aus dem Einsatz der Online-Prüfung

Methodisch-technische Grundlagen

Prüfungsfälle sind didaktisch wie Lernfälle aufgebaut, unterscheiden sich aber dadurch, dass dabei keine unterstützenden Expertenkommentare mit Lerninhalten angezeigt werden. Die Studierenden bearbeiten sequenziell eine Karte bzw. Bildschirmpräsentation nach der anderen, wobei jede Karte jeweils nur eine Frage enthält. Die Antwort kann bis zur Bestätigung des Buttons ´Abschicken´ beliebig oft von den Studierenden korrigiert werden; danach ist die Antwort in der CASUS-Datenbank gespeichert und kann nicht mehr korrigiert werden.

Beantwortet ein Studierender beispielsweise die zweite Frage eines Prüfungsfalles falsch, könnte daraus eine falsche gedankliche Weichenstellung resultieren, die wegen des chronologischen Fallverlaufes vielleicht zur falschen Beantwortung nachfolgender Fragen führen würde. Es müssen also im weiteren Verlauf unter Umständen Lösungen aus vorhergegangenen Fragen genannt werden, um für jede neue Frage eine Chancengleichheit für alle Studierenden herzustellen. In einem computerisierten Fall können solche Informationen bereitgestellt werden, da eine bereits gegebene Antwort nicht mehr korrigiert, jedoch nochmals angeschaut werden kann. Das „Zurückblättern“ des Falles bleibt also weiterhin möglich. Hierin liegt ein wesentlicher Vorteil gegenüber einer chronologischen Prüfung im Papierformat.

Die Anwendung computerbasierter Prüfungsverfahren erlaubt auch den Einsatz unterschiedlicher Frage- bzw. Antwortformate. Neben Multiple Choice- (MC) und Freitext-Fragen können zum Beispiel auch Short Menu (SM)- und Long Menu (LM)-Fragen eingesetzt werden. LM-Fragen sind Freitextfragen, bei denen die Studierenden einen definierten Begriff innerhalb einer langen Liste suchen und auswählen. Sie sind nicht vergleichbar mit klassisch essayistischen Freitextfragen, bei denen eine Analyse oder Zusammenfassung erstellt werden soll.

Technische Umsetzung

Die fallbasierten Online-Prüfungen mit dem System CASUS wurden unter Aufsicht in parallelen und zwei zeitversetzten Gruppen durchgeführt, da simultan nur 72 Computerarbeitsplätze in den Seminarräumen des Universitätsrechenzentrums zur Verfügung standen. Zwei technische Lösungen kamen zur Anwendung: Durchführung der Prüfung mit Zugriff auf den CASUS-Prüfungsserver in München als auch mit einem speziellen CASUS-Prüfungsserver im Intranet vor Ort, was die Zuverlässigkeit und den Datenschutz verbessert. So kann beim Intranet ein unerwünschter Zugriff von außen auf die Fälle und Userdaten verhindert werden. Die räumliche Nähe vor Ort verbessert Stabilität und Servicemöglichkeiten. Zusätzliche Sicherheit gegenüber Angriffen ist auch über VPN (Virtual Privat Network) Lösungen zu erreichen, die von uns bisher jedoch nicht eingesetzt werden. Für die Prüfung wurden spezielle Kurse eingerichtet, die die Prüfungsfälle enthielten und den Studierenden über ihr persönliches Login (Kombination mit der Matrikelnummer) zugeordnet wurden. Die Auswertung der Prüfungsdaten erfolgte mittels Tabellenkalkulation.

Mit der Einführung der Online-Prüfung am Ende des Semesters stieg der Nutzungsgrad der CASUS-Lernfälle im Semester mit zunehmender Prüfungsnähe steil an (Abbildung 2 [Abb. 2]).

In der Evaluation zeigten die Prüfungsfälle im Vergleich zu den Lernfällen auf einer 5-Punkt Likert Skala (1 = mangelhaft bis 5 = sehr gut) eine etwas niedrigere inhaltliche Akzeptanz, was vermutlich mit der Prüfungssituation erklärt werden kann. Dennoch findet das Prüfungsformat selber und die Bewertung des technischen Ablaufs eine hohe Akzeptanz bei den Studierenden (Abbildung 3 [Abb. 3]).

Die didaktischen Vorteile einer computer- und fallbasierten Prüfung mit chronologisch aufgebauten Fallstudien, kostengünstigem Einsatz multimedialer Elemente und unterschiedlich stimulierenden Fragenformaten liegen auf der Hand. Sie werden von den Studierenden klar erkannt, aber von vielen Dozenten selber noch zu wenig wahrgenommen. Die Erstellung von Lern- und Prüfungsfällen wird wegen fehlender Anreizsysteme oft als zusätzliche Belastung angesehen. Gleichwohl waren bereits im folgenden Semester deutliche zeitliche Einsparungen zu verzeichnen. Unterstützend wirkte hier zudem die Bereitstellung von Lern- und Prüfungsfällen über die CASUS-Falldatenbank. Neben der Fallerstellung ist der logistische Aufwand für den Einsatz solcher Prüfungen gegenwärtig noch sehr hoch, da die Verbindung mit zentralen Lernmanagementsystemen der Fakultät bzw. des Studiendekanates noch im Aufbau ist (Tabelle 1 [Tab. 1]). Dies gilt für die Übernahme der persönlichen Daten der Studierenden in die Kursverwaltung als auch umgekehrt bei der Rückübertragung der Prüfungsergebnisse.

Probleme von Online-Prüfungen und Lösungswege

Prinzipiell könnte die Prüfung zwar von jedem internetfähigen PC- oder Laptop- Arbeitsplatz durchgeführt werden. Dies erscheint jedoch für eine summative Prüfung mit individueller Benotung, wie von uns durchgeführt, problematisch. Aufgrund der Anordnung der Computer in den Kursräumen besteht die Möglichkeit die Bildschirme der Nachbarn einzusehen (Abbildung 4 [Abb. 4]).

Die Möglichkeit des „Abschreibens“ kann vermieden werden, indem die Prüfungsfälle in unterschiedlicher Reihenfolge präsentiert oder alternativ die Monitore mit Sichtschutzwänden versehen werden. Beides bringt einen erhöhten administrativen bzw. auch finanziellen Aufwand mit sich. Ein weiteres Problem stellt der räumliche Wechsel zwischen den Prüfungskohorten dar, wobei ein kurzer verbaler Austausch zwischen den Gruppen nicht vermeidbar ist. Eine klassische Papierklausur mit Antwortwahlverfahren ist zeitgleich an verschiedenen Orten auch für große Studierendenzahlen realisierbar. Der Einsatz eines speziellen CASUS-Prüfungsservers im abgeschlossenen Intranet verbesserte zwar die Zuverlässigkeit und den Datenschutz, bietet jedoch auch keine vollständige Ausfallgarantie für den Server. Beim Einsatz von ausfallsicheren Lösungen (Hochverfügbarkeit) ist zudem auch eine Kosten-/Nutzenrechnung aufzustellen. Eine Absicherung des Servers gegen Hardwareausfälle ist durch Cluster-Anwendungen denkbar aber auch entsprechend kostenintensiver. Eine gemischte Architektur mit intelligenteren Clients, die Serverausfälle verkraften, ist ebenfalls möglich aber mit entsprechend höherem Aufwand bei der Einrichtung verbunden. Während der Prüfung im Wintersemester 2005/2006 gab es erstmalig technische Probleme, weshalb die Prüfung abgebrochen werden musste. Ungelöst ist bisher auch eine rechtlich verbindliche Dokumentation der Antworten. Die Antworten der Studierenden werden zwar in die CASUS-Datenbank eingetragen, jedoch wird die Markierung der Antwort selber nicht dokumentiert. So könnte beispielsweise bei einer MC-Frage in der Datenbank für einen Studierenden die Lösung B abgelegt sein, dieser jedoch behaupten, Antwort C ausgesucht und markiert zu haben. Überlegungen, von jeder Antwort einen Screen-Shot als Dokumentation anzulegen werden diskutiert, stellen jedoch aufgrund der Client-Server-Konstruktion des CASUS-Systems ein technisches Problem dar. Diese Art der Dokumentation ließe sich über ein lokales System besser realisieren. Unter justiziablen Gesichtspunkten zeigen sich also noch Schwächen des Systems.

Der Zugriff auf eine zentrale Falldatenbank über das Internet stellt einen besonderen Wert für den Einsatz des CASUS-Systems zu Lernzwecken dar. Für die Prüfung sollte gegenwärtig ein formativer Prüfungseinsatz dem einer summativen, notenrelevanten Prüfung vorgezogen werden. Im Rahmen einer formativen Prüfung können die Studierenden die Prüfungsfälle bearbeiten, egal von welchem Ort aus, und ihnen damit ihr aktueller Stand in der Lernumgebung aufgezeigt werden. Hiervon bleibt das Prinzip der Prüfung mit seinem didaktischem Ansatz und insbesondere auch der vorteilhafte Einsatz unterschiedlicher Frage-Antwort-Formate unberührt. Der bei Prüfungen wichtige Aspekt der Justiziabilität wird durch den Einsatz von Lernfällen oder formativen Prüfungen entschärft. Dieses Vorgehen sollte im Aufbau einer Prüfungs-Infrastruktur und -Organisation am Standort münden, wo die gemachten Erfahrungen in konkrete Prüfungsszenarien und Handlungsanweisungen vor Ort einfließen. Die Aufgaben in den Bereichen Fallerstellung, Lernunterstützung, Prüfungsorganisation und Datenverwaltung müssen dafür zwischen den Dozenten, Supportzentren und dem Studiendekanat verbindlich abgestimmt werden.


Fazit

Bei der Implementierung fakultätsinterner Prüfungen spielen neue, computerbasierte Prüfungsformate eine wichtige Rolle. Mittels der computerisierten Prüfung kann das chronologische Vorgehen an klinischen Fällen gut simuliert werden. Zudem besteht die Möglichkeit, neue Frage- und Antwortformate einzusetzen und damit die Interaktionsmöglichkeiten für die Lernenden zu verbessern. Beim Online-Lernen anhand klinischer Fälle hat sich jedoch gezeigt, dass nicht das Antwortformat allein, sondern der mit der Frage gesetzte Stimulus wesentlich für das spätere Messergebnis (also Prüfungsergebnis) ist [17], [18]. Dies gelingt durch die Einbindung der Frage in einen medizinischen Kontext, insbesondere einen klinischen Fall. Bei solch einer konkreten Anwendung ist das computerisierte Prüfungssystem zwar didaktisch überlegen, aber auch administrativ aufwändiger und störanfälliger als eine klassische Papierklausur mit Antwortwahlverfahren. Der Vorteil der computerisierten Prüfung liegt also wesentlich in seinem didaktischen Ansatz und der praxisnahem Umsetzungsmöglichkeit für die Prüfung. Die Nutzung eines über das Internet zugänglichen Systems sowohl für Lernen, Lehren und Prüfen ist damit bei guter Akzeptanz durch die Studierenden attraktiv. Für summative Prüfungen müssen noch Probleme hinsichtlich der rechtlichen und technischen Sicherheit für den Routineeinsatz gelöst werden. Dafür bietet sich gegenwärtig der Einsatz in formativen Prüfungen an.


Danksagung

Unser Dank gilt den Medizinstudierenden und den Mitarbeitern des Universitätsrechenzentrums der Heinrich-Heine-Universität Düsseldorf sowie der Studiendekanin Frau Prof. Dr. S. Soboll für die finanzielle Unterstützung des Projektes.


Interessenkonflikt

Martin Adler ist der Vorstand der INSTRUCT AG (hat die Rechte an CASUS) und ist Anteilseigner. Inga Hege, Martin R. Fischer und Thomas Baehring sind Anteilseigner der INSTRUCT AG und Martin R. Fischer hat den Aufsichtsratvorsitz. Für alle anderen Autoren bestehen keine Interessenkonflikte.


Literatur

1.
Leong SL, Baldwin CD, Adelman AM. Integrating Web-based Computer Cases into a Required Clerkship: Development and Evaluation. Acad Med. 2003;78:295-301.
2.
Simonsohn AB, Fischer MR. Evaluation of a case-based computerized learning program (CASUS) for medical students during their clinical years. Dtsch Med Wochenschr. 2004;129(11):552-6.
3.
Koens F, Ten Cate OTJ, Custers EJFM. Context-dependent memory in a meaningful environment for medical education: in the classroom and at the bedside. Adv Health Sci Educ. 2003;8:155-65.
4.
Spencer J. ABC of learning and teaching in medicine. BMJ. 2003;326:591-4.
5.
Rikers R, Loyens SMM, Schmidt H. The role of encapsulated knowledge in clinical case representations of medical students and family doctors. Med Educ. 2004;38(10):1035-43.
6.
Schmidt HG, Boshuizen HPA. On the origin of intermediate effects in clinical case recall. Mem Cognit. 1993;21:338-51.
7.
Approbationsordnung für Ärzte. Available from: http://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html
8.
Informationen zu den schriftlichen Prüfungen nach neuem Recht. Available from: http://www.impp.de/index.php?id=42.
9.
Fallbasiertes Lern- und Autorensystem CASUS. Available from: www.casus.net.
10.
Baehring T. Medizinstudium - Prüfung online. Dtsch Ärzteblatt. 101(41):A-2718.
11.
Baehring T, Weichelt U, Schmidt H, Adler M, Bruckmoser S, Fischer M. ProMediWeb: Problem based case trainings in medicine via the World Wide Web. In: Ottmann T, Tomek J, eds. Proceedings ED-MEDIA. Freiburg; 1998. p. 1922-3.
12.
Baehring T, Rotthoff T, Scherbaum WA. Online-Lernen und Online-Prüfen: Wie findet E-Learning Eingang ins medizinische Curriculum in Deutschland? In: Jäckel A, Hrsg. Telemedizinführer Deutschland. Ober-Mörlen; Ausgabe 2006. p. 243-7.
13.
Van der Vleuten CPM, Schuwirth LWT. Assessing professional competence: from methods to programmes. Med Educ. 2005;39:309-17.
14.
Page G, Bordage G. The medical council of Canada´s key feature project: a more valid written examination of clinical decision making skills. Acad Med.1995;70:104-10.
15.
Page G, Bordage G, Allen T. Developing key-feature problems and examinations to assess clinicial decision making skills. Acad Med.1995;70:194-201.
16.
Fischer MR, Kopp V, Holzer M, Ruderich F, Jünger J. A modified electronic key feature examination for undergraduate medical students: validation threats and opportunities. Med Teach. 2005;27(5):450-55.
17.
Schuwirth LWT, van der Vleuten CPM. Different written assessment methods: what can be said about their strength and weaknesses? Med Educ.2004;38:974-9.
18.
Schuwirth LWT, Verheggen MM, van der Vleuten CPM, Boshuizen HPA, Dinant GJ. Validation of short case based testing using a cognitive psychological methodology. Med Educ. 2000;35:348-56.