gms | German Medical Science

Fragestellung/Zielsetzung: Studierende fordern zunehmend mehr Transparenz bei Prüfungen und die Veröffentlichung von verwendeten MC-Fragen [1]. Das Hauptargument dagegen ist der vermeintlich negative Effekt auf psychometrische Item-Kennwerte bei erneuter Verwendung von Fragen. Wissenschaftliche Untersuchungen dazu sind widersprüchlich [2], [3].

Seit Sommersemester (SoSe) 2017 dürfen die Medizinstudierenden der Charité – Universitätsmedizin Berlin die Testhefte nach schriftlichen Prüfungen mitnehmen. Die Lösungen der Fragen werden nach Ergebnisveröffentlichung gemeinsam mit der Kopie des Antwortbogens zur Verfügung gestellt.

Das Ziel unserer Arbeit ist die Untersuchung des Effekts dieser Maßnahme auf das Antwortverhalten.

Methoden: Wir bestimmten Durchschnittsnoten und Durchfallquoten sowie die Schwierigkeit und Trennschärfe der verwendeten Items von vier Prüfungszeiträumen (Wintersemester (WiSe) 2017/18 bis SoSe 2019) nach der Herausgabe der Prüfungsfragen und verglichen diese miteinander und mit den Fragen des letzten Prüfungszeitraums vor Verwendung veröffentlichter Fragen (SoSe 2017).

Die Items wurden in 3 Kategorien eingeteilt: Neufrage, bekannte Altfrage und unbekannte Altfrage. Die Gruppen wurden mittels einfaktorieller ANOVA verglichen.

Ergebnisse: Im Durchschnitt verbesserten sich die Noten im Studienzeitraum von M=2.64 im SoSe 2017 auf M=2.41 im WiSe 2018/19. Die Durchfallquote sank in diesem Zeitraum von 6.47% auf 5.32%. Im SoSe 2019 verschlechterte sich erstmals die Durchschnittsnote (M=2.56) und die Durchfallquote (6.52%).

Insgesamt wurde das Antwortverhalten der Studierenden bei N=7040 von insgesamt N=10600 verwendeten Fragen untersucht. Veröffentlichte Altfragen waren leichter (M=0.83, SD=0.16) als nicht veröffentlichte Altfragen (M=0.73, SD=0.20) und Neufragen (M=0.67, SD=0.23). Dabei wurden Fragen aller Kategorien im SoSe 2019 am schlechtesten beantwortet.

Veröffentlichte Altfragen hatten eine höhere Trennschärfe (M=0.25; SD=0.14) als nicht veröffentlichte Altfragen (M=0.21, SD=0.15) und Neufragen (M=0.21, SD=0.15).

Diskussion: Die Veröffentlichung von Altfragen hat einen wesentlichen Einfluss auf die Fragenschwierigkeit bei Wiederverwendung dieser Fragen. Im Testzeitraum wurden die verwendeten Neufragen und nicht veröffentlichten Altfragen zunehmend schlechter beantwortet, insbesondere im jüngsten untersuchten Prüfungszeitraum.

Bei gleichzeitig steigendem Anteil veröffentlichter Altfragen verändern sich die Durchschnittsnoten allerdings nur wenig. Zusammengenommen deuten die Ergebnisse darauf hin, dass das Veröffentlichen der Prüfungsfragen das Lernen der Studierenden dahingehend steuert, sich weniger auf Inhalte vorzubereiten, die nicht Inhalt der bereits veröffentlichten Fragen waren.

Take Home Messages:

• Die Veröffentlichung von Altfragen führt dazu, dass diese Fragen bei Wiederverwendung besser beantwortet werden.
• Zunehmende Transparenz und Veröffentlichung von Originalprüfungsmaterial führt möglicherweise zu einer negativen Lernsteuerung.