Artikel
"Richtig geraten!" Mit welcher Wahrscheinlichkeit kann man sich erfolgreich durch eine Multiple Choice Prüfung raten?
Suche in Medline nach
Autoren
Veröffentlicht: | 2. September 2009 |
---|
Gliederung
Text
Hintergrund und Fragestellung: Die Wahrscheinlichkeit, eine Multiple-Choice-Aufgabe (MCQ) durch alleiniges "Raten" zu lösen, ist reziprok zur Alternativenzahl. Wie hoch ist aber die Wahrscheinlichkeit, durch alleiniges "Raten" eine komplette MC-Prüfung zu bestehen, und wie kann durch das Prüfungsdesign diese "falsch-positive Bestehens-Wahrscheinlichkeit" kontrolliert werden?
Material und Methoden: Eine Prüfung bestehe aus insgesamt n Aufgaben, von denen jede a Antworten vorgebe (davon wiederum jeweils r richtige). Die Anzahl r richtiger Alternativen möge nicht zwischen den Aufgaben variieren und sei Prüflingen vorab bekannt. Eine Aufgabe gelte als korrekt gelöst genau dann, wenn sämtliche der r Richtigantworten und a–r Distraktoren erkannt, die Prüfung als bestanden, wenn c≤n Aufgaben richtig beantwortet werden. Bestimmt werden soll die Mindestanzahl n der Aufgaben, die zu stellen sind, um eine vorgegebene Wahrscheinlichkeit α des Bestehens der Prüfung durch "alleiniges Raten" (ausschließlich zufällige Auswahl von jeweils r Antworten in einer Aufgabe), zu kontrollieren.
Ergebnisse: Die Wahrscheinlichkeit, eine Aufgabe durch Raten korrekt zu lösen ist 1/(a r) mit Binominalkoeffizienten (a r)=a!/(r!(a-r)!). Die Wahrscheinlichkeit, die komplette Prüfung durch Raten zu bestehen, ist durch die Binomialverteilung mit Parametern n und 1/(a r) bestimmt.
Standardstrategien zur Fallzahlplanung liefern über Normalapproximation dieser Binomialverteilung eine Mindest-Aufgabenanzahl n(α) zur Kontrolle der Bestehenswahrscheinlichkeit α: Bezeichnet z[1-α] das (1-α)-Perzentil der Standard-Normalverteilung, ergibt sich n(α)=(z[1-α])^2/{[c–1/(a r)]*[1/(a r)*(1–1/(a r))]}.
Die Anzahl der benötigten Aufgaben nimmt insbesondere mit steigendem a und ebenso mit steigendem r (solange 2≤r≤a/2) monoton ab.
Um beispielsweise eine Bestehens-Wahrscheinlichkeit α=% in einer Prüfung mit 1-aus-5-Aufgaben zu kontrollieren, sind n=8 Aufgaben zu stellen; ferner genügen bereits n=5 Aufgaben bei jeweils r=2 von fünf richtigen Antworten.
Diskussion und Schlussfolgerung: Für in der Medizin übliche Prüfungsdesigns, z. B. n=50 1-aus-5 MCQ ist die Wahrscheinlichkeit, durch "alleiniges Raten" zu bestehen, <0,1%. Sie kann monoton mit steigender Zahl a von Antworten pro Aufgabe und steigender Zahl richtiger Antworten (≤a/2) verringert werden.