gms | German Medical Science

Fragestellung/Zielsetzung: Die Erforschung des „Antwort-Revisionsverhaltens“ bei MC-Prüfungen hat eine über 100-jährige Tradition. Zwar widerlegen alle einschlägigen Studien den „Mythos“ der Richtigkeit von Initialantworten und liefern empirische Evidenz für die überwiegende Vorteilhaftigkeit von Revision einer initial getroffenen, jedoch nicht ganz sicheren Erstentscheidung. Doch die schiere Faszination des „Glaubens“ an der Zuverlässigkeit der „Initialantwort“ scheint sich der Entzauberungskraft der bisherigen gegenteiligen empirischen Befunde zu entziehen, wie einige Beiträge aktuelleren Datums in renommierten Fachzeitschriften zeigen. Unsere Studie fügt dieser Debatte eine neue Perspektive hinzu: Zum einen betrachten wir den Antwortwechsel bei MC-Aufgaben – anders als dies gelegentlich der Fall ist – nicht als einen Akt des Rätselratens, sondern als einen kognitiven Vorgang. Zum anderen explorieren wir die Muster der Antwortrevisionen unter Berücksichtigung unterschiedlicher MC-Aufgabenformate (Einzelfragen vs. Fragen von Fallstudien).

Methoden: Unsere Daten basieren auf den Aufzeichnungen von Antwortbelegen der Prüfungsteilnehmer*innen (N=4037) des bundesweiten Zweiten Abschnitts der Ärztlichen Prüfung, bestehend aus 320 MC-Aufgaben, darunter 142 Einzelfragen und 31 Fallstudien in Key-Feature-Format (178 Fragen). Die Aufzeichnung der Antwortbögen im IMPP erfolgt mit einem speziellen Dokumentenscan-Verfahren, das ein hohes Maß an Genauigkeit aufweist und eine zuverlässige Erkennung von Antwortrevisionen ermöglicht.

Ergebnisse: Anderes als fast alle bisher berichteten Untersuchungsergebnisse stellen wir fest, dass ein beträchtlicher Anteil von M2-Prüflingen (22,6%) ihre ursprünglichen Antworten mindestens einmal ändert. Auch die Anzahl der von Revisionen betroffenen Prüfungsaufgaben ist beträchtlich (315 von 320 Aufgaben). Die meisten Revisionen führten zur Änderung einer falschen Antwort zu einer richtigen (FR: 54,3%) und weit weniger von einer richtigen zu einer falschen (RF: 22,6%) bzw. innerhalb zweier falscher Antworten (FF: 23,1%). Das Stimulusformat der Aufgaben spielt hierbei eine entscheidende Rolle: Die durchschnittliche Anzahl der FR-, RF- und FF-Änderungen pro Prüfling unterscheidet sich stark von Einzelitems (FR: 3,8; RF: 1,8; FF: 1,9) zu Fallstudien (FR: 6,6; RF: 2,3; FF: 2,4). Darüber hinaus zeigt sich ein positiver Effekt der Prüfungsleistung auf die Wahrscheinlichkeit von FR-Änderungen, insbesondere im Fall von Fallstudien.

Diskussion: Basierend auf einer umfangreichen Datenbasis bestätigen unsere Ergebnisse den bisher bekannten Befund der Vorteilhaftigkeit von Antwortrevisionen. Dass Fragen von Fallstudien – sicherlich aufgrund ihres Bezugs zu einem gemeinsamen Fallkontext – viel häufiger als Einzelfragen im FR-Muster geändert werden ist zwar nicht überraschend. Sie unterstreicht jedoch somit den postulierten kognitiven Charakter des Antwort-Revisionsverhaltens.