gms | German Medical Science

53. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

15. bis 18.09.2008, Stuttgart

Erstellung und Durchführung von sicheren Medizin-Prüfungen unter Verwendung einer Fragendatenbank

Meeting Abstract

  • Jörn Heid - Universitätsklinikum Heidelberg, Heidelberg, Deutschland
  • Konstantin Brass - Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland
  • Frank Hess - Universitätsklinikum Heidelberg, Heidelberg, Deutschland
  • Winfried Kurtz - Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland
  • Jana Jünger - Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland
  • Martin Haag - Zentrum für virtuelle Patienten, Heidelberg, Deutschland

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. 53. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds). Stuttgart, 15.-19.09.2008. Düsseldorf: German Medical Science GMS Publishing House; 2008. DocMI4-2

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gmds2008/08gmds118.shtml

Veröffentlicht: 10. September 2008

© 2008 Heid et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielf&aauml;ltigt, verbreitet und &oauml;ffentlich zug&aauml;nglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Einleitung

Die Qualität medizinischer Prüfungen hängt maßgeblich von der Qualität der gestellten Fragen ab. Die Erstellung solcher Fragen erfordert allerdings einen sehr hohen Zeitaufwand, welcher aufgrund der Dreifachbelastung durch Patientenversorgung, Forschung und Ausbildung an einem Universitätsklinikum nicht immer aufgebracht werden kann. Darüber hinaus wird in der aktuellen Approbationsordnung für Ärzte [1] von den Universitäten verlangt, dass diese in insgesamt 38 Bereichen möglichst gute Prüfungen (idealerweise unter Reduktion des MC-Anteils) durchführen.

Material und Methoden

Um eine möglichst große Anzahl an qualitativ hochwertigen Prüfungsfragen für Prüfungszwecke zur Verfügung zu haben, bietet es sich an, dass mehrere Universitätskliniken in einem Prüfungsverbund eine gemeinsame Datenbank für Prüfungsinhalte erstellen, in der die einzelnen Partner Fragen einstellen, bewerten und austauschen können.

Dies wurde durch das „Item Management System für die Medizin“ (IMSm) [2] erreicht, welches unter der Federführung des Kompetenzzentrums für Prüfungen in der Medizin in Heidelberg [3] entwickelt wurde. Weitere Entwicklungspartner sind hierbei die Charité Berlin und die LMU München. Mit dem System können Prüfungsinhalte in verschiedenen Frage- und Fallformaten konzipiert, verwaltet, bewertet und ausgetauscht werden. Der Prüfer kann aus einem Pool von eigenen und fremden Fragen seine Klausur zusammenstellen, drucken, nach der Durchführung benoten sowie teststatistisch auswerten.

Zum Abspielen von qualitativ hochwertigen Prüfungen bietet sich insbesondere computer-basiertes Prüfen an, da dort neben Medien auch Fragetypen gezeigt werden können, welche beispielsweise durch den Keyfeature-Ansatz nach Page und Bordage [4] oder die Unterstützung von Long-Menu-Fragen [5] auch prozedurales Wissen bewerten können, was die Qualität des Prüfens weiter steigern kann.

Die Verwendung von Computern für die Prüfung bedeutet aber auch höhere materielle (Computer-Pools) und sicherheitstechnische Anforderungen.

So muss verhindert werden, dass Studenten das Medium für Betrugsversuche nutzen können, und es ist der juristisch unanfechtbare Beweis zu erbringen, dass die Ergebnisse, die am Ende zeitnah erstellt werden können, auch tatsächlich den vom Studierenden eingegebenen Antworten entsprechen. Zusätzlich ist ein Ausfall der Prüfung aufgrund von Server- oder Netzwerkproblemen entgegenzuwirken.

Abbildung 1 [Abb. 1]

Eine entsprechend technisch und rechtlich sichere Lösung bietet das CAMPUS-Prüfungssystem [6] an, welches am Zentrum für virtuelle Patienten des Universitätsklinikums Heidelberg entwickelt wurde und seit 2004 in Heidelberg eingesetzt wird.

Abbildung 2 [Abb. 2]

Ergebnisse

Um die Fragen, welche im IMS verwaltet werden können, in CAMPUS übertragen zu können, wurde die QTI-Schnittstelle von IMS-Global [7] von beiden Systemen implementiert. Diese Standard-Schnittstelle musste jedoch um einige Fragetypen, wie beispielsweise Long-Menu-Fragen, erweitert werden [8].

Nach Ablauf der Prüfung können die Ergebnisse als CSV-Datei zur teststatistischen Auswertung wieder ins IMSm übertragen werden. Die entsprechenden Auswertungen können dann dort durchgeführt werden.

Diskussion

Die Qualität medizinischer Prüfungen wird durch einen großen und qualitativ hochwertigen Fragenpool begünstigt. In der Kombination mit modernen Prüfungsformen, die insbesondere nur die computerbasierten Prüfungssysteme anbieten können, kann diese Qualität noch weiter gesteigert werden.

Die zwei vorgestellten Systeme können dies zusammen auch in Hinblick auf Sicherheitsaspekte gewährleisten.


Literatur

1.
Approbationsordnung für Ärzte. Bundesgesetzblatt 2002 Teil I Nr. 44 vom 03.07.2002. Im Internet: http://www.approbationsordnung.de/AO/ao-neu.pdf. Externer Link
2.
Item Management System Medizin für die Medizin. Im Internet: http://www.ims-m.org. Externer Link
3.
Kompetenzzentrum für Prüfungen in der Medizin. Im Internet: http://www.medizinische-fakultaet-hd.uni-heidelberg.de/Kompetenzzentrum-fuer-Pruefungen-KomP-Med.3081.0.html. Externer Link
4.
Page G, Bordage G, Allen T. Developing Key-Feature Problems and Examinations to Assess Clinical Decissionmaking Skills. Acad Med 1995; 70: 194-201
5.
Schuwirth LWT, van der Vleuten CPM, Stoffers HEJH, et al. Computerized long menu questions as an alternative to open-ended questions in computerized assessment. Med Educ 1996; 30: 50-5
6.
Heid J, Bauch M, Brass K, Hess F, Jünger J, Haag M, Leven FJ. Entwicklung und Einsatz eines sicheren Prüfungssystems für die medizinische Ausbildung. GMS Med Inform Biom Epidemiol 2006; 2(3):Doc10. Im Internet: http://www.egms.de/en/journals/mibe/2006-2/mibe000029.shtml. Externer Link
7.
IMS QTI: IMS Global Learning Consortium Question & Test Interoperability. Im Internet: http://www.imsproject.org/question/. Externer Link
8.
Pfähler M, Holzer M. Erweiterung des QTI-Standards zur Unterstützung von LongMenu Fragen sowie Abbildung spezifischer Metadaten in QTI 2.1. 12. Workshop der Arbeitsgruppe "Computerunterstützte Lehr- und Lernsysteme in der Medizin" der GMDS, Saarbrücken 2008: 34-36