Artikel
Der Einfluss unterschiedlicher Bewertungsschlüssel für Kprim Fragen auf die Messgenauigkeit um die Bestehensgrenze [Bericht über Forschungsergebnisse]
Suche in Medline nach
Autoren
-
F. Lahner
- Universität Bern, Institut für medizinische Lehre, Bern, Switzerland
-
D. Bauer
- Universität Bern, Institut für medizinische Lehre, Bern, Switzerland
-
A. Lörwald
- Universität Bern, Institut für medizinische Lehre, Bern, Switzerland
-
T. Müller
- Universität Tübingen, Leibniz-Institut für Wissensmedien, Tübingen, Germany
-
S. Guttormsen
- Universität Bern, Institut für medizinische Lehre, Bern, Switzerland
-
M. R. Fischer
- Klinikum der LMU München, Institut für Didaktik und Ausbildungsforschung, München, Germany
-
S. Huwendiek
- Universität Bern, Institut für medizinische Lehre, Bern, Switzerland
| Veröffentlicht: | 19. September 2018 |
|---|
Gliederung
Text
Problemstellung/Ziele: Kprim Aufgaben sind ein in der Medizin verbreiteter Multiple-Choice Aufgabentyp. Da für jede Antwortoption im Kontext der jeweils gestellten Aufgabenstellung eine gesonderte Richtig/Falsch-Entscheidung getroffen werden muss, stellt sich die Frage nach dem optimalen Bewertungsschlüssel. Da zuverlässige Bestehensentscheidungen ein wichtiges Gütekriterium medizinischer Prüfungen sind, untersuchen wir in dieser Studie den Einfluss unterschiedlicher Bewertungsschlüssel für Kprim Aufgaben auf die Messgenauigkeit an der Bestehensgrenze.
Methoden: Wir inkludierten 56 Prüfungen vierer Schweizer Fakultäten mit durchschnittlich 225 Kandidierenden und 29 Kprim Aufgaben. Die Messgenauigkeit an der Bestehensgrenze wurde über die konditionale Reliabilität und den konditionalen Messfehler [1] sowie über die Anzahl der Kandidierenden im Vertrauensintervall um die Bestehensgrenze (Kandidierende im Ambiguitätsbereich) operationalisiert. Es wurden drei Bewertungsschlüssel für Kprim Fragen verwendet: Ganzpunktscoring (1 Punkt, wenn alle Richtig/Falsch-Entscheidungen korrekt sind) sowie 2 Teilpunktalgorithmen, Halbpunktscoring (0,5 Punkte, wenn mehr als die Hälfte bzw. 1 Punkt, wenn alle Richtig/Falsch-Entscheidungen korrekt sind) und Viertelpunktscoring (ein Viertelpunkt für jede korrekte Richtig/Falsch-Entscheidung).
Ergebnisse: Wir fanden eine signifikant höhere konditionale Reliabilität (F(2,110)=34.9; p<0.001; η2=0.16) und einen signifikant niedrigeren konditionalen Messfehler (F(2,110)=37.3; p<0.001; η2=0.32) für Teilpunktalgorithmen. Die Zahl der Kandidierenden im Ambiguitätsbereich war signifikant kleiner für Ganzpunktscoring und Halbpunktscoring im Vergleich zu Viertelpunktscoring.
Diskussion: Wir konnten zeigen, dass unterschiedliche Bewertungsschlüssel für Kprim Aufgaben die Messgenauigkeit an der Bestehensgrenze beeinflussen. Halbpunktscoring scheint für Kprim- Aufgaben vorteilhaft zu sein, da es zu einer hohen konditionalen Reliabilität, einem kleinen konditionalen Messfehler und einer geringen Anzahl an Kandidierenden im Ambiguitätsbereich führt.
