gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

08.10. - 10.10.2009, Freiburg

„Richtig geraten!“ Mit welcher Wahrscheinlichkeit kann man sich erfolgreich durch eine Multiple-Choice Prüfung raten?

Poster

Search Medline for

  • author Daniel Bauer - Private Universität Witten/Herdecke, Institut für Didaktik und Bildungsforschung im Gesundheitswesen, Witten, Deutschland
  • author Frank Krummenauer - Private Universität Witten/Herdecke, Institut für Medizinische Biometrie und Epidemiologie, Witten, Deutschland
  • corresponding author Martin R. Fischer - Private Universität Witten/Herdecke, Institut für Didaktik und Bildungsforschung im Gesundheitswesen, Witten, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung - GMA. Freiburg im Breisgau, 08.-10.10.2009. Düsseldorf: German Medical Science GMS Publishing House; 2009. Doc09gmaT5P107

DOI: 10.3205/09gma107, URN: urn:nbn:de:0183-09gma1075

Published: September 2, 2009

© 2009 Bauer et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Hintergrund und Fragestellung: Die Wahrscheinlichkeit, eine Multiple-Choice-Aufgabe (MCQ) durch alleiniges „Raten“ zu lösen, ist reziprok zur Alternativenzahl. Wie hoch ist aber die Wahrscheinlichkeit, durch alleiniges „Raten“ eine komplette MC-Prüfung zu bestehen, und wie kann durch das Prüfungsdesign diese „falsch-positive Bestehens-Wahrscheinlichkeit“ kontrolliert werden?

Material und Methoden: Eine Prüfung bestehe aus insgesamt n Aufgaben, von denen jede a Antworten vorgebe (davon wiederum jeweils r richtige). Die Anzahl r richtiger Alternativen möge nicht zwischen den Aufgaben variieren und sei Prüflingen vorab bekannt. Eine Aufgabe gelte als korrekt gelöst genau dann, wenn sämtliche der r Richtigantworten und a–r Distraktoren erkannt werden. Die Prüfung gelte genau dann als bestanden, wenn mindestens c Aufgaben richtig beantwortet werden. Bestimmt werden soll die Mindestanzahl n der Aufgaben, die zu stellen sind, um eine vorgegebene Wahrscheinlichkeit α des Bestehens der Prüfung durch „alleiniges Raten“ (ausschließlich zufällige Auswahl von jeweils r Antworten in einer Aufgabe), zu kontrollieren.

Ergebnisse: Die Wahrscheinlichkeit, eine Aufgabe durch Raten korrekt zu lösen ist 1/(a r) mit Binominalkoeffizienten (a r)=a!/(r!(a-r)!). Die Wahrscheinlichkeit, die komplette Prüfung durch Raten zu bestehen, ist durch die Binomnialverteilung mit Parametern n und 1/(a r) bestimmt.

Standardstrategien zur Fallzahlplanung liefern über Normalapproximation dieser Binomnialverteilung eine Mindest-Aufgabenanzahl n(α) zur Kontrolle der Bestehenswahrscheinlichkeit α: Bezeichnet z1-α das (1-α)-Perzentil der Standard-Normalverteilung, ergibt sich n(α)=(z1-α)2/\'7b[c–1/(a r)]*[1/(a r)*(1–1/(a r))]\'7d.

Die Anzahl der benötigten Aufgaben nimmt insbesondere mit steigendem a und ebenso mit steigendem r (solange 2≤r≤a/2) monoton ab.

Um beispielsweise eine Bestehens-Wahrscheinlichkeit α=1% in einer Prüfung mit 1-aus-5-Aufgaben zu kontrollieren, sind n=8 Aufgaben zu stellen; ferner genügen bereits n=5 Aufgaben bei jeweils r=2 von fünf richtigen Antworten.

Diskussion und Schlussfolgerung: Für in der Medizin übliche Prüfungsdesigns, z. B. n = 50 1-aus-5 MCQ ist die Wahrscheinlichkeit, durch „alleiniges Raten“ zu bestehen, <0.1%. Diese kann monoton mit steigender Zahl a von Antworten pro Aufgabe und steigender Zahl richtiger Antworten (≤a/2) verringert werden.