Article
"Richtig geraten!" Mit welcher Wahrscheinlichkeit kann man sich erfolgreich durch eine Multiple Choice Prüfung raten?
Search Medline for
Authors
-
Daniel Bauer
- Private Universität Witten/Herdecke, Institut für Didaktik und Bildungsforschung im Gesundheitswesen, Witten
-
Frank Krummenauer
- Private Universität Witten/Herdecke, Institut für Medizinische Biometrie und Epidemiologie, Witten
-
Martin R. Fischer
- Private Universität Witten/Herdecke, Institut für Didaktik und Bildungsforschung im Gesundheitswesen, Witten
| Published: | September 2, 2009 |
|---|
Outline
Text
Hintergrund und Fragestellung: Die Wahrscheinlichkeit, eine Multiple-Choice-Aufgabe (MCQ) durch alleiniges "Raten" zu lösen, ist reziprok zur Alternativenzahl. Wie hoch ist aber die Wahrscheinlichkeit, durch alleiniges "Raten" eine komplette MC-Prüfung zu bestehen, und wie kann durch das Prüfungsdesign diese "falsch-positive Bestehens-Wahrscheinlichkeit" kontrolliert werden?
Material und Methoden: Eine Prüfung bestehe aus insgesamt n Aufgaben, von denen jede a Antworten vorgebe (davon wiederum jeweils r richtige). Die Anzahl r richtiger Alternativen möge nicht zwischen den Aufgaben variieren und sei Prüflingen vorab bekannt. Eine Aufgabe gelte als korrekt gelöst genau dann, wenn sämtliche der r Richtigantworten und a–r Distraktoren erkannt, die Prüfung als bestanden, wenn c≤n Aufgaben richtig beantwortet werden. Bestimmt werden soll die Mindestanzahl n der Aufgaben, die zu stellen sind, um eine vorgegebene Wahrscheinlichkeit α des Bestehens der Prüfung durch "alleiniges Raten" (ausschließlich zufällige Auswahl von jeweils r Antworten in einer Aufgabe), zu kontrollieren.
Ergebnisse: Die Wahrscheinlichkeit, eine Aufgabe durch Raten korrekt zu lösen ist 1/(a r) mit Binominalkoeffizienten (a r)=a!/(r!(a-r)!). Die Wahrscheinlichkeit, die komplette Prüfung durch Raten zu bestehen, ist durch die Binomialverteilung mit Parametern n und 1/(a r) bestimmt.
Standardstrategien zur Fallzahlplanung liefern über Normalapproximation dieser Binomialverteilung eine Mindest-Aufgabenanzahl n(α) zur Kontrolle der Bestehenswahrscheinlichkeit α: Bezeichnet z[1-α] das (1-α)-Perzentil der Standard-Normalverteilung, ergibt sich n(α)=(z[1-α])^2/{[c–1/(a r)]*[1/(a r)*(1–1/(a r))]}.
Die Anzahl der benötigten Aufgaben nimmt insbesondere mit steigendem a und ebenso mit steigendem r (solange 2≤r≤a/2) monoton ab.
Um beispielsweise eine Bestehens-Wahrscheinlichkeit α=% in einer Prüfung mit 1-aus-5-Aufgaben zu kontrollieren, sind n=8 Aufgaben zu stellen; ferner genügen bereits n=5 Aufgaben bei jeweils r=2 von fünf richtigen Antworten.
Diskussion und Schlussfolgerung: Für in der Medizin übliche Prüfungsdesigns, z. B. n=50 1-aus-5 MCQ ist die Wahrscheinlichkeit, durch "alleiniges Raten" zu bestehen, <0,1%. Sie kann monoton mit steigender Zahl a von Antworten pro Aufgabe und steigender Zahl richtiger Antworten (≤a/2) verringert werden.
