Article
Vergleich der Schwierigkeit und Trennschärfe von Multiple-Choice-Aufgaben mit positiver und negativer Einfachauswahl – Analyse des schriftlichen Teils des Ersten Abschnitts der Ärztlichen Prüfung 2003–2020
Search Medline for
Authors
-
Stefan Nickels
- Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Deutschland
-
Thomas Klein
- Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Deutschland
-
Axel Porepp
- Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Deutschland
-
Lena Selgert
- Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Deutschland
-
Hossein Shahla
- Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Deutschland
| Published: | September 11, 2023 |
|---|
Outline
Text
Fragestellung/Zielsetzung: Multiple-Choice-Aufgaben sind weltweit Teil medizinischer Prüfungen. Es werden verschiedene Arten von Aufgabenformaten eingesetzt. Negativ formulierte Fragestellungen (bei denen die Falschantwort erkannt werden muss) werden im Vergleich zu positiv formulierten Fragestellungen (bei denen die richtige Antwort erkannt werden muss) kritisch gesehen: Negative Fragestellungen erfüllen oft nicht die Kriterien einer zielgerichteten, authentischen Aufgabe und scheinen anfälliger für Konstruktionsfehler zu sein [1], [2]. Ob das Auswirkungen auf Schwierigkeit und Trennschärfe der Prüfungsaufgaben hat, wurde bisher kaum empirisch untersucht [1].
Methoden: Wir untersuchten den Unterschied von Schwierigkeit (p) und Trennschärfe (r) zwischen Aufgaben mit positiver Fragestellung (n=9696) und negativer Fragestellung (n=387), die im schriftlichen Teil des Ersten Abschnitts der ärztlichen Prüfung 2003-2020 in Deutschland eingesetzt wurden. Wir verwendeten lineare Regressionsmodelle, die wir für den Zeitpunkt der Prüfung und das Stoffgebiet adjustiert haben, um den Einfluss des Aufgabentyps auf die Schwierigkeit (p) und die Trennschärfe (r) dieser beiden Aufgabentypen zu schätzen.
Ergebnisse: Die Aufgaben mit negativer Fragestellung wurden im Durchschnitt geringfügig leichter beantwortet als die Aufgaben mit positiver Fragestellung (Medianes p: 76% vs. 74%) und hatten eine etwas geringere Trennschärfe (Medianes r: 0.253 vs. 0.287). Der Schätzer der linearen Regression (unter Berücksichtigung des Einflusses von Jahrgangseffekten und Stoffgebieten) für die Schwierigkeit (p) war 2,0, für die Trennschärfe (r) betrug er 0,00. Fragen mit negativem Stamm wurden demnach im Schnitt um 2 Prozentpunkte häufiger richtig beantwortet als Fragen mit positivem Stamm und unterschieden sich nicht in der Trennschärfe.
Diskussion: Unsere Ergebnisse zeigen, dass Schwierigkeit und Trennschärfe von positiven und negativen Multiple-Choice-Aufgaben ähnlich sind.
Take Home Message: Der Aufgabentyp (positive oder negative Einfachauswahl) hat keine nachweisbaren wesentlichen Auswirkungen auf Schwierigkeit und Trennschärfe des schriftlichen Teils des Ersten Abschnitts der ärztlichen Prüfung.
