gms | German Medical Science

Fragestellung/Zielsetzung: Einfach-Auswahl-Fragen (siehe Abbildung 1 [Abb. 1]) zählen zu den Multiple-Choice-Fragen und werden seit über 100 Jahren in Prüfungen eingesetzt. Am Ende der Prüfung müssen die gegebenen Antworten analysiert und bewertet werden, um einen Rückschluss auf das „wahre“ Wissen der Prüflinge zu erzielen [1]. Ziel der vorliegenden Arbeit ist es, die in der Literatur beschriebenen Bewertungsansätze für Einfach-Auswahl-Fragen zusammenzustellen. Für die identifizierten Bewertungsansätze wird darüber hinaus der Zusammenhang zwischen dem „wahren“ Wissen von Prüflingen und dem Erwartungswert des Klausurergebnisses (durchschnittlich erwartete prozentuale Punktzahl) analysiert sowie eine Bewertung hinsichtlich der Aussagekraft durchgeführt. Ferner werden Implikationen für potentielle Bestehensgrenzen abgeleitet.

Methoden: Die in der Literatur beschriebenen Bewertungsansätze für einzelne Einfach-Auswahl-Fragen wurden im September 2020 aus verschiedenen Datenbanken (ERIC, PsycInfo, Embase, PubMed) extrahiert. Hierbei wurden ausschließlich Bewertungsalgorithmen auf Ebene einzelner Fragen und nicht für Fragengruppen oder auf Klausurebene (z.B. mit unterschiedlicher Gewichtung einzelner Fragen, mit gemischten Fragetypen oder unter Einbezug der Gesamtfragenzahl pro Klausur) betrachtet. Für jeden Bewertungsansatz wurde der Erwartungswert des Klausurergebnisses in Abhängigkeit vom „wahren“ Wissen der Prüflinge anhand zwei fiktiver Klausuren, bestehend aus je 100 Einfach-Auswahl-Fragen (alle Fragen entweder mit zwei oder fünf Antwortoptionen), berechnet.

Ergebnisse: Insgesamt konnten 258 Quellen eingeschlossen werden, aus denen 21 Bewertungsansätze mit unterschiedlicher Berücksichtigung korrekt beantworteter, ausgelassener/enthaltener und inkorrekt beantworteter Fragen identifiziert wurden. Hierbei ließen sich Bewertungsansätze ohne Maluspunkte (0 bis maximal +1 Punkt pro Frage) von Bewertungsansätzen mit Maluspunkten (maximal –3 Punkte pro Frage) differenzieren. Je nach verwendetem Bewertungsansatz und Anzahl an Antwortoptionen unterschied sich der Erwartungswert des Klausurergebnisses maßgeblich.

Diskussion: Einfach-Auswahl-Fragen lassen sich von Prüflingen nur eindeutig korrekt oder inkorrekt beantworten. Konsequenterweise sollte die Bewertung ebenfalls dichotom erfolgen und entweder 0 Punkte (inkorrekt beantwortet) oder 1 Punkt (korrekt beantwortet) vergeben werden. Bei der Bewertung der Klausurergebnisse und Festlegung möglicher Bestehensgrenzen muss die Ratewahrscheinlichkeit Berücksichtigung finden, die bei einem dichotomen Bewertungsalgorithmus von der Anzahl an Antwortoptionen je Frage abhängt.

Take Home Messages: Bei Prüfungen mit Einfach-Auswahl-Fragen ist das Klausurergebnis (% der maximalen Punktzahl) nicht grundsätzlich mit dem „wahren“ Wissen der Prüflinge gleichzusetzen. Bei der Festlegung von Bestehensgrenzen muss neben dem jeweils eingesetzten Bewertungsansatz in der Regel auch die Anzahl an Antwortoptionen pro Frage berücksichtigt werden.