Artikel
Übertragung papierbasierter Multiple Choice Aufgaben in die digitale Welt – ein Weg zur Verbesserung der Prüfungsqualität?
Suche in Medline nach
Autoren
-
Ulrich Johannes Schmitz
- Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Fachbereich Zahnmedizin (FB ZM), Mainz, Deutschland
-
Monika Daubländer
- Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Fachbereich Zahnmedizin (FB ZM), Mainz, Deutschland
| Veröffentlicht: | 14. September 2022 |
|---|
Gliederung
Text
Fragestellung/Zielsetzung: Nach § 72 Abs. 2 der neuen Approbationsordnung für Zahnärzte und Zahnärztinnen (ZApprO) [https://www.gesetze-im-internet.de/zappro/BJNR093310019.html] kann der schriftliche Teil des Dritten Abschnitts der Zahnärztlichen Prüfung rechnergestützt durchgeführt werden. Neben einer Übernahme von aus den Prüfungen der Medizin bekannten Multiple Choice Aufgaben (MCAs) soll überprüft werden, ob eine digitale Prüfung neue Aufgabenformate ermöglicht, die zu einer Qualitätsverbesserung gegenüber analogen Prüfungen führen könnten.
Methoden: Zu einer Auswahl von MCAs, die international in verschiedenen Prüfungsformaten eingesetzt werden, wird ein Fragenkatalog für eine vorläufige juristische Abklärung der Eignung dieser Typen für staatliche Prüfungen vorbereitet.
Ergebnisse: Es lassen sich MCA-Typen identifizieren, die nur auf digitalem Wege sinnvoll nutzbar sind. Hierzu zählen u.a. [1]
- Hotspot
- abhängige Key-Feature Aufgaben ohne Möglichkeit der Rückkehr zur vorherigen Aufgabe (Typ F)
- Long-Menu-Question
- Modified Matching
- Discrete Option
Diskussion: Im Vergleich zu den aktuell im Papier-Bleistift-Format der Prüfungen der Medizin genutzten Fragentypen A, A- und B besitzen die oben aufgeführten Typen verschiedene Vorteile.
Sowohl Hotspot als auch Typ F ermöglichen realitätsnahes Prüfen. Das Erkennen und Markieren auffälliger Areale innerhalb eines Bildes simuliert die zahnärztliche Inspektion der Patient*innen. Rechtlich zu klären wäre die eindeutig richtige Antwort, repräsentiert durch die Größe des als „richtig“ zu bewertenden Bereichs in Pixeln. Die abhängige key-feature Frage simuliert beispielsweise den Ablauf einer Behandlung von der Untersuchung über Diagnose zur Therapie. Um Hinweise der Folgefragen nicht für Korrekturen der vorherigen Antworten nutzen zu können, darf im Verlauf der abhängigen Fragefolge das Zurückblättern nicht erlaubt sein. Dies ist digital umsetzbar, birgt jedoch rechtliche Risiken. Zum einen ist das Gewicht der einzelnen Fragen nicht mehr identisch. Der Fehler wird je nach Auftreten in der Fragenfolge unterschiedlich stark bewertet, da von Folgefehlern auszugehen ist. Zum anderen kann die chancengleiche Abfrage des tatsächlichen Leistungsniveaus eingeschränkt werden, wenn eine spätere Rückkehr zur Beantwortung der Frage nicht möglich wäre.
Long-Menu, Modified Matching und Discrete Option sind Möglichkeiten, die Ratewahrscheinlichkeit zu reduzieren und so eine Messäquivalenz zu offenen Fragenformaten herzustellen. Doch auch hier ist nicht abschließend rechtlich geklärt, ob beispielsweise die selektive Vorgabe von Lösungsvorschlägen nach Eingabe weniger Buchstaben im Long Menu die Anforderung zur Festlegung der richtigen Antwort noch erfüllt (§ 73 Abs. 3 der ZApprO).
Take Home Message Die Nutzung digitaler MCA-Typen kann die Prüfqualität der Z3-Prüfung verbessern. Prüfungsaufgaben werden realitätsnäher gestaltbar, das MC-eigene Problem der Ratewahrscheinlichkeit wird minimiert. Allerdings muss vor dem umfassenden Einsatz, insbesondere in staatlichen Prüfungen die Rechtssicherheit solcher Formate abgeklärt werden.
