gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

15.09. - 17.09.2022, Halle (Saale)

Bewertung von Multiple-Choice-Fragen im Einfach-Auswahl-Format – ganz einfach?! Ein systematischer Überblick und Vergleich von Bewertungsansätzen

Meeting Abstract

Suche in Medline nach

  • Amelie Friederike Kanzow - Universitätsmedizin Göttingen, Studiendekanat, Bereich Medizindidaktik, Göttingen, Deutschland
  • Dennis Schmidt - Universitätsmedizin Göttingen, Poliklinik für Präventive Zahnmedizin, Parodontologie und Kariologie, Göttingen, Deutschland
  • presenting/speaker Philipp Kanzow - Universitätsmedizin Göttingen, Poliklinik für Präventive Zahnmedizin, Parodontologie und Kariologie, Göttingen, Deutschland

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Halle (Saale), 15.-17.09.2022. Düsseldorf: German Medical Science GMS Publishing House; 2022. DocP-04-01

doi: 10.3205/22gma185, urn:nbn:de:0183-22gma1859

Veröffentlicht: 14. September 2022

© 2022 Kanzow et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Gliederung

Text

Fragestellung/Zielsetzung: Einfach-Auswahl-Fragen (siehe Abbildung 1 [Abb. 1]) zählen zu den Multiple-Choice-Fragen und werden seit über 100 Jahren in Prüfungen eingesetzt. Am Ende der Prüfung müssen die gegebenen Antworten analysiert und bewertet werden, um einen Rückschluss auf das „wahre“ Wissen der Prüflinge zu erzielen [1]. Ziel der vorliegenden Arbeit ist es, die in der Literatur beschriebenen Bewertungsansätze für Einfach-Auswahl-Fragen zusammenzustellen. Für die identifizierten Bewertungsansätze wird darüber hinaus der Zusammenhang zwischen dem „wahren“ Wissen von Prüflingen und dem Erwartungswert des Klausurergebnisses (durchschnittlich erwartete prozentuale Punktzahl) analysiert sowie eine Bewertung hinsichtlich der Aussagekraft durchgeführt. Ferner werden Implikationen für potentielle Bestehensgrenzen abgeleitet.

Methoden: Die in der Literatur beschriebenen Bewertungsansätze für einzelne Einfach-Auswahl-Fragen wurden im September 2020 aus verschiedenen Datenbanken (ERIC, PsycInfo, Embase, PubMed) extrahiert. Hierbei wurden ausschließlich Bewertungsalgorithmen auf Ebene einzelner Fragen und nicht für Fragengruppen oder auf Klausurebene (z.B. mit unterschiedlicher Gewichtung einzelner Fragen, mit gemischten Fragetypen oder unter Einbezug der Gesamtfragenzahl pro Klausur) betrachtet. Für jeden Bewertungsansatz wurde der Erwartungswert des Klausurergebnisses in Abhängigkeit vom „wahren“ Wissen der Prüflinge anhand zwei fiktiver Klausuren, bestehend aus je 100 Einfach-Auswahl-Fragen (alle Fragen entweder mit zwei oder fünf Antwortoptionen), berechnet.

Ergebnisse: Insgesamt konnten 258 Quellen eingeschlossen werden, aus denen 21 Bewertungsansätze mit unterschiedlicher Berücksichtigung korrekt beantworteter, ausgelassener/enthaltener und inkorrekt beantworteter Fragen identifiziert wurden. Hierbei ließen sich Bewertungsansätze ohne Maluspunkte (0 bis maximal +1 Punkt pro Frage) von Bewertungsansätzen mit Maluspunkten (maximal –3 Punkte pro Frage) differenzieren. Je nach verwendetem Bewertungsansatz und Anzahl an Antwortoptionen unterschied sich der Erwartungswert des Klausurergebnisses maßgeblich.

Diskussion: Einfach-Auswahl-Fragen lassen sich von Prüflingen nur eindeutig korrekt oder inkorrekt beantworten. Konsequenterweise sollte die Bewertung ebenfalls dichotom erfolgen und entweder 0 Punkte (inkorrekt beantwortet) oder 1 Punkt (korrekt beantwortet) vergeben werden. Bei der Bewertung der Klausurergebnisse und Festlegung möglicher Bestehensgrenzen muss die Ratewahrscheinlichkeit Berücksichtigung finden, die bei einem dichotomen Bewertungsalgorithmus von der Anzahl an Antwortoptionen je Frage abhängt.

Take Home Messages: Bei Prüfungen mit Einfach-Auswahl-Fragen ist das Klausurergebnis (% der maximalen Punktzahl) nicht grundsätzlich mit dem „wahren“ Wissen der Prüflinge gleichzusetzen. Bei der Festlegung von Bestehensgrenzen muss neben dem jeweils eingesetzten Bewertungsansatz in der Regel auch die Anzahl an Antwortoptionen pro Frage berücksichtigt werden.


Literatur

1.
Schmidt D, Raupach T, Wiegand A, Herrmann M, Kanzow P. Relation between examinees' true knowledge and examination scores: systematic review and exemplary calculations on Multiple-True-False items. Educ Res Rev. 2021;34:100409. DOI: 10.1016/j.edurev.2021.100409 Externer Link