gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

15.09. - 17.09.2022, Halle (Saale)

Verwendung von Altfragen in Prüfungen: Einfluss von Zahl der Wiederholungen und dem zeitlichen Abstand zur Letztverwendung am Beispiel der Hals-Nasen-Ohrenheilkunde der Medizinischen Fakultät Heidelberg

Meeting Abstract

Search Medline for

  • presenting/speaker Andreas Möltner - Ruprecht-Karls-Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland
  • Saskia Egarter - Institut für Kommunikations- und Prüfungsforschung gGmbH, Heidelberg, Deutschland
  • Tobias Albrecht - Universitätsklinikum Tübingen, Klinik für Hals-Nasen-Ohrenheilkunde, Kopf- und Halschirurgie, Tübingen, Deutschland

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Halle (Saale), 15.-17.09.2022. Düsseldorf: German Medical Science GMS Publishing House; 2022. DocV-01-03

doi: 10.3205/22gma003, urn:nbn:de:0183-22gma0033

Published: September 14, 2022

© 2022 Möltner et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Fragestellung/Zielsetzung: Die Erstellung qualitativ hochwertiger neuer Fragen ist immer mit einem erheblichen Aufwand verbunden. Zudem erfordert eine solide Qualitätssicherung eine systematische Begutachtung der Aufgaben vor ihrem Einsatz wie auch eine Nachbegutachtung auf Basis der statistischen Auswertung der Prüfung.

Es werden deshalb vielfach Altfragen eingesetzt, was immer die Gefahr birgt, dass diese von den Studierenden gesammelt und bekannt gemacht werden und somit in einer neuen Prüfung nicht mehr als vollwertige Aufgabe eingesetzt werden können.

In dieser Studie wird am Beispiel der Prüfungen im Fach Hals-Nasen-Ohrenheilkunde (HNO) der Med. Fakultät Heidelberg untersucht, wie sich die Wiederholung von Fragen auf ihre Schwierigkeit (Anteil korrekter Beantwortungen) auswirkt.

Methoden: Datengrundlage sind die Prüfungen im Fach HNO der Jahre 2004–2021. Der Unterricht der HNO an der medizinischen Fakultät Heidelberg findet in Modulen viermal je Semester statt und wird durch eine Klausur abgeschlossen. Abgesehen von einigen Ausnahmen (wie etwa dem Anfang der Corona-Epidemie) fanden somit in jedem Semester vier Prüfungen statt, so dass insgesamt 137 Prüfungen mit 3007 Fragen (davon 518 unterschiedlich) in die Auswertung eingingen.

Für die Analyse wurde eine Mixed-Model-Analyse mit der abhängigen Variable Aufgabenschwierigkeit P, den festen Faktoren Zahl der Wiederholungen und dem zeitlichen Abstand zur Letztverwendung statt. Aufgabe und Klausur wurden als Random-Faktor einbezogen.

Ergebnisse: Für die Analyse waren vorauslaufende Transformationen der Daten adäquat, die Schwierigkeit P wurde einer Arcus-Sinus-, die Zahl der Wiederholungen einer log(x+1)-Transformation unterzogen.

Sämtliche Faktoren konnten als signifikant nachgewiesen werden (alle p<0.001). Die Schwierigkeit nahm mit der Zahl der Wiederholungen zu (d. h. Items wurden leichter) und mit dem zeitlichen Abstand zur letzten Verwendung ab (siehe Abbildung 1 [Abb. 1]).

Diskussion: Die Ergebnisse zeigen, dass Altfragen leichter werden, mithin den Studierenden bekannt sind. Selbst bei einer einmaligen Wiederholung nach knapp 3 Jahren steigt ausgehend von einer Schwierigkeit von P=0.75 diese geringfügig auf P=0.79 an, bei häufig wiederholten Aufgaben ist nach knapp 3 Jahren die Aufgabe schon relativ leicht (P=0.88), bei letztmaliger Verwendung vor 30 Tagen ist P bereits 0.94. Nach fünf Jahren sind die Effekte jedoch bestenfalls marginal. Altfragen sollten deshalb nur mit hinreichendem zeitlichem Abstand erneut verwendet werden.

Ausblick: Erforderlich ist eine differenzierte zeitliche Analyse, in der untersucht wird, ob die immer bessere Verfügbarkeit digitaler Hilfsmittel zur Kommunikation der Studierenden untereinander und u. U. zur Ablichtung von Prüfungsaufgaben einen stärkeren Einfluss auf deren Bekanntheit hat.

Take Home Message: Altfragen können in Klausuren ohne Bedenken mitverwendet werden, sofern man bei der Klausurkonzeption die abnehmende Schwierigkeit von Altfragen berücksichtigt oder der zeitliche Abstand zur Letztverwendung mehr als drei Jahre übersteigt.