gms | German Medical Science

Fragestellung/Zielsetzung: Die Erstellung qualitativ hochwertiger neuer Fragen ist immer mit einem erheblichen Aufwand verbunden. Zudem erfordert eine solide Qualitätssicherung eine systematische Begutachtung der Aufgaben vor ihrem Einsatz wie auch eine Nachbegutachtung auf Basis der statistischen Auswertung der Prüfung.

Es werden deshalb vielfach Altfragen eingesetzt, was immer die Gefahr birgt, dass diese von den Studierenden gesammelt und bekannt gemacht werden und somit in einer neuen Prüfung nicht mehr als vollwertige Aufgabe eingesetzt werden können.

In dieser Studie wird am Beispiel der Prüfungen im Fach Hals-Nasen-Ohrenheilkunde (HNO) der Med. Fakultät Heidelberg untersucht, wie sich die Wiederholung von Fragen auf ihre Schwierigkeit (Anteil korrekter Beantwortungen) auswirkt.

Methoden: Datengrundlage sind die Prüfungen im Fach HNO der Jahre 2004–2021. Der Unterricht der HNO an der medizinischen Fakultät Heidelberg findet in Modulen viermal je Semester statt und wird durch eine Klausur abgeschlossen. Abgesehen von einigen Ausnahmen (wie etwa dem Anfang der Corona-Epidemie) fanden somit in jedem Semester vier Prüfungen statt, so dass insgesamt 137 Prüfungen mit 3007 Fragen (davon 518 unterschiedlich) in die Auswertung eingingen.

Für die Analyse wurde eine Mixed-Model-Analyse mit der abhängigen Variable Aufgabenschwierigkeit P, den festen Faktoren Zahl der Wiederholungen und dem zeitlichen Abstand zur Letztverwendung statt. Aufgabe und Klausur wurden als Random-Faktor einbezogen.

Ergebnisse: Für die Analyse waren vorauslaufende Transformationen der Daten adäquat, die Schwierigkeit P wurde einer Arcus-Sinus-, die Zahl der Wiederholungen einer log(x+1)-Transformation unterzogen.

Sämtliche Faktoren konnten als signifikant nachgewiesen werden (alle p<0.001). Die Schwierigkeit nahm mit der Zahl der Wiederholungen zu (d. h. Items wurden leichter) und mit dem zeitlichen Abstand zur letzten Verwendung ab (siehe Abbildung 1 [Abb. 1]).

Diskussion: Die Ergebnisse zeigen, dass Altfragen leichter werden, mithin den Studierenden bekannt sind. Selbst bei einer einmaligen Wiederholung nach knapp 3 Jahren steigt ausgehend von einer Schwierigkeit von P=0.75 diese geringfügig auf P=0.79 an, bei häufig wiederholten Aufgaben ist nach knapp 3 Jahren die Aufgabe schon relativ leicht (P=0.88), bei letztmaliger Verwendung vor 30 Tagen ist P bereits 0.94. Nach fünf Jahren sind die Effekte jedoch bestenfalls marginal. Altfragen sollten deshalb nur mit hinreichendem zeitlichem Abstand erneut verwendet werden.

Ausblick: Erforderlich ist eine differenzierte zeitliche Analyse, in der untersucht wird, ob die immer bessere Verfügbarkeit digitaler Hilfsmittel zur Kommunikation der Studierenden untereinander und u. U. zur Ablichtung von Prüfungsaufgaben einen stärkeren Einfluss auf deren Bekanntheit hat.

Take Home Message: Altfragen können in Klausuren ohne Bedenken mitverwendet werden, sofern man bei der Klausurkonzeption die abnehmende Schwierigkeit von Altfragen berücksichtigt oder der zeitliche Abstand zur Letztverwendung mehr als drei Jahre übersteigt.