gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

05.10. - 08.10.2011, München

Möglichkeiten und Grenzen adaptiver Prüfungen in der Medizin

Vortrag

Search Medline for

  • corresponding author presenting/speaker Andreas Möltner - Universität Heidelberg, Kompetenzzentrum für Prüfungen, Heidelberg, Deutschland
  • author Jana Jünger - Universität Heidelberg, Kompetenzzentrum für Prüfungen, Heidelberg, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). München, 05.-08.10.2011. Düsseldorf: German Medical Science GMS Publishing House; 2011. Doc11gma063

DOI: 10.3205/11gma063, URN: urn:nbn:de:0183-11gma0636

Published: September 26, 2011

© 2011 Möltner et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Fragestellung: Bei adaptiven Prüfungen wird abhängig von der Beantwortung der vorhergehenden Aufgaben die nächste Frage so gewählt, dass diese möglichst viele Informationen über den Leistungsstand des Prüflings liefert. Das Vorgehen erlaubt, bei gleicher Messgenauigkeit die Zahl der zu stellenden Aufgaben je Teilnehmer zu reduzieren. Beispiel einer adaptiven Prüfung in der Medizin ist der MC-Teil für die Zulassung als Arzt in Australien.

In der Studie wird untersucht, ob die Aufgaben der vorklinischen Prüfungen an der Universität Heidelberg geeignet sind, im Rahmen adaptiver Prüfungen verwendet zu werden, welche Vorteile gegenüber Prüfungen mit optimal fest ausgewählten Fragen bestehen und wie entscheidend die dem Verfahren zugrundeliegenden Modellannahmen sind.

Methoden: Untersucht wurden die Prüfungen in Anatomie, Physiologie und Biochemie des 2. - 4. Fachsemesters (SS und WS 2010, n=346, 391 bzw. 390). Die Prüfungen mit je 90 Fragen wurden in einen Kalibrier- und einen Kreuzvalidierungsdatensatz unterteilt. Aus erstem wurden die Item-Response-Funktionen (IRF) nach dem 3-Parameter-Modell von Birnbaum bestimmt. An den Validierungsdaten wurden adaptive Prüfungen und Prüfungen mit optimal fest gewählten Aufgaben nachgebildet. Mit einer Simulationsstudie wurden die Konsequenzen der Abweichungen der realen IRF von den Modellannahmen untersucht.

Ergebnisse: Durch adaptives Prüfen lässt sich bereits mit ca. 40 Aufgaben praktisch die gleiche Messgenauigkeit erzielen wie mit den Prüfungen mit 90 Fragen (r>0.93). Gegenüber Prüfungen mit optimaler fester Aufgabenfolge verringert man die Aufgabenzahl um ca. 20-30%. Bei perfekter Gültigkeit der Modellannahmen wäre eine weitere Absenkung um ca. 25% möglich.

Schlussfolgerung: Die in den untersuchten Prüfungen verwendeten Aufgaben eignen sich für adaptive Prüfungen obwohl die Modellannahmen nicht vollständig erfüllt sind. Für die Prüfungspraxis sind die Vorteile des adaptiven Vorgehens gegenüber den logistisch einfacheren Prüfungen mit optimalen festen Aufgabenfolgen abzuwägen.