gms | German Medical Science

51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (gmds)

10. - 14.09.2006, Leipzig

Elektronische Prüfungen im Studium der Medizininformatik: Sind elektronische und papierbasierte Ergebnisse vergleichbar?

Meeting Abstract

Search Medline for

  • Petra Knaup-Gregori - Universität Heidelberg, Heidelberg
  • Jörn Heid - Hochschule Heilbronn, Heilbronn
  • Maria Pritsch - Universität Heidelberg, Heidelberg

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (gmds). 51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Leipzig, 10.-14.09.2006. Düsseldorf, Köln: German Medical Science; 2006. Doc06gmds291

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/meetings/gmds2006/06gmds220.shtml

Published: September 1, 2006

© 2006 Knaup-Gregori et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Einleitung und Fragestellung

Mit zunehmender Verfügbarkeit von eLearning-Angeboten [1], [2], gewinnen auch elektronische Prüfungen im Studium immer mehr an Bedeutung. Dies bietet sich besonders bei Studiengängen mit hohen Studierendenzahlen an, wenn Möglichkeiten zur rechnerunterstützten Durchführung und Auswertung der Prüfung bestehen. Im Bereich des Medizinstudiums sind elektronische Prüfungen besonders bedeutsam, da die neue Approbationsordnung auch fallbasierte Prüfungen vorschreibt. Untersuchungen bezüglich der Vergleichbarkeit haben hier bisher sehr unterschiedliche Ergebnisse gezeigt [3], ebenso wie im Bereich der Pflege [4]. Untersuchungsergebnisse im Studium der Medizinischen Informatik sind bisher nicht bekannt. Bereits vorliegende Computererfahrung kann jedoch die Vergleichbarkeit von elektronischen und papierbasierten Prüfungen beeinflussen. Daher soll die vorliegende Untersuchung prüfen, ob bei Studierenden der Medizininformatik eine elektronische Prüfung zu vergleichbaren Ergebnissen wie eine papierbasierte Version führt.

Material und Methoden

Die Untersuchung bezieht sich auf die Eingangsprüfung für das Praktikum Informationssysteme des Gesundheitswesens [5] im 5. Semester des Studiums Medizinische Informatik an der Universität Heidelberg/Hochschule Heilbronn [6] und umfasst die Studentenkohorten von zwei Semestern. Genutzt wurde die Prüfungssoftware des vorwiegend im Humanmedizinstudium eingesetzten CAMPUS-Systems (www.medicase.de). Dieses bietet zum Beispiel neben verschiedenen Arten der Ausfallsicherung auch eine redundante Speicherung der Prüfungsergebnisse [7].

Die Untersuchung ist als Crossover-Vergleich angelegt, bei dem jeder Studierende jeweils einen Abschnitt der aus zwei formal gleichen Teilen bestehenden Prüfung elektronisch (e) und den anderen Teil papierbasiert (pb) absolviert. Jeder Teil enthält multiple- und single-choice Prüfungsfragen aus sieben Stoffgebieten. Welchen der beiden Teile der Studierende elektronisch absolviert, wird durch Randomisation zugewiesen. Die Prüfungsergebnisse werden von der Prüfungssoftware als Excel-Datei mit dahinter liegenden Funktionen zur Punktzahlberechnung zur Verfügung gestellt. Die Ergebnisse des papierbasierten Prüfungsteils wurden nachträglich in die gleiche Excel-Vorlage eingetragen.

Bei der Auswertung wird entsprechend dem Design ein lineares Modell mit den Faktoren Prüfungsmodus (e, pb), Prüfungsteil (1.,2.) und der Wechselwirkung zugrunde gelegt.

Ergebnisse

Im Oktober 2005 nahmen 24 Studierende an der Untersuchung teil, deren Prüfungsergebnisse in aufbereiteter Form zur Auswertung vorliegen. Im April 2006 wird eine 2. Testrunde durchgeführt. Die Daten werden zusammengeführt und gemeinsam ausgewertet. Nach dem Stand der Anmeldungen für die kommende Prüfung kann von einem Stichprobenumfang von über 50 Studierenden ausgegangen werden kann. Die Ergebnisse dieser Auswertung werden Hauptbestandteil des Vortrags sein.

Diskussion

Bevor elektronische Prüfungen genutzt werden, die in die Abschlussnoten für ein Studien eingehen, sollte zumindest exemplarisch die Vergleichbarkeit einer elektronischen mit einer papierversierten Prüfung untersucht werden. Nur so kann gewährleist werden, dass den Studierenden durch den elektronischen Prüfungsmodus keine Nachteile entstehen. Subjektiv empfanden mehr als zwei Drittel der Prüflinge der 1. Testrunde die elektronische Prüfung angenehmer als die papierbasierte. Der Aufwand für die Erstellung der Prüfungsfragen ist relativ hoch und kann durch die sofort vorliegende elektronische Form der Prüfungsergebnisse kompensiert werden. Wir haben die Untersuchung zunächst auf multiple- und single-choice-Fragen beschränkt, um keine Verzerrung durch den Fragentyp zu erhalten. Das genutzte Werkzeug bietet auch weitere Fragentypen an, die in den kommenden Semestern in die Untersuchung einbezogen werden sollen. Kann durch derartige Untersuchungen gezeigt werden, dass den Studierenden keine Nachteile entstehen, können auch innovativere Prüfungsmodalitäten wie adaptives Testen (s. zum Beispiel [8] in Betracht gezogen werden.

Danksagung

Die Autoren möchten den Herren Konstantin Brass und Marcel Zimmermann für die Unterstützung bei der Durchführung der elektronischen Prüfung herzlich danken.


Literatur

1.
C Docherty, D Hoy, H Topp and K Trinder. eLearning techniques supporting problem based learning in clinical simulation. Int J Med Inform. 2005;(74):527-33
2.
R Wutoh, SA Boren, and EA Balas. eLearning: a review of Internet-based continuing medical education. J Contin Educ Health Prof. 2004;(24):20-30
3.
RM Luecht, A Hadadi, DB Swanson and SM Case. A comparative study of a comprehensive basic sciences test using paper-and-pencil and computerized formats. Acad Med. 1998;(73):51-3
4.
M Vrabel. Computerized versus paper-and-pencil testing methods for a nursing certification examination: a review of the literature. Comput Inform Nurs. 2004(22):94-8; quiz 99-100
5.
P Knaup, R Haux, A Häber, A Lagemann and F Leiner. Teaching the fundamentals of information systems management in health care. Lecture and practical training for students of Medical Informatics (Heidelberg/Heilbronn). Int J Med Inform. 1998;(50):195-205
6.
FJ Leven, P Knaup, D Schmidt and T Wetter. Medical informatics at Heidelberg/Heilbronn: status-evaluation-new challenges in a specialised curriculum for medical informatics after thirty years of evolution. Int J Med Inform. 2004;(73):117-25
7.
J Heid, M Bauch, K Brass, M Haag, J Jünger and FJ Leven. Erfahrungen bei Entwicklung und Einsatz eines Prüfungsplayers für computerunterstütztes, sicheres Prüfen. In: (Eds.) Tagungsband der 50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds), 12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie (dae), Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie, Deutsche Arbeitsgemeinschaft für Epidemiologie, 12. bis 15.09.2005, Freiburg im Breisgau, 2005, pp. 62-64
8.
R.C. Gershon. Computer adaptive testing. J Appl Meas. 2005;(6):109-27