gms | German Medical Science

54. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

07. bis 10.09.2009, Essen

"Richtig geraten!" Mit welcher Wahrscheinlichkeit kann man sich erfolgreich durch eine Multiple Choice Prüfung raten?

Meeting Abstract

Suche in Medline nach

  • Daniel Bauer - Private Universität Witten/Herdecke, Institut für Didaktik und Bildungsforschung im Gesundheitswesen, Witten
  • Frank Krummenauer - Private Universität Witten/Herdecke, Institut für Medizinische Biometrie und Epidemiologie, Witten
  • Martin R. Fischer - Private Universität Witten/Herdecke, Institut für Didaktik und Bildungsforschung im Gesundheitswesen, Witten

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. 54. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds). Essen, 07.-10.09.2009. Düsseldorf: German Medical Science GMS Publishing House; 2009. Doc09gmds098

DOI: 10.3205/09gmds098, URN: urn:nbn:de:0183-09gmds0985

Veröffentlicht: 2. September 2009

© 2009 Bauer et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Hintergrund und Fragestellung: Die Wahrscheinlichkeit, eine Multiple-Choice-Aufgabe (MCQ) durch alleiniges "Raten" zu lösen, ist reziprok zur Alternativenzahl. Wie hoch ist aber die Wahrscheinlichkeit, durch alleiniges "Raten" eine komplette MC-Prüfung zu bestehen, und wie kann durch das Prüfungsdesign diese "falsch-positive Bestehens-Wahrscheinlichkeit" kontrolliert werden?

Material und Methoden: Eine Prüfung bestehe aus insgesamt n Aufgaben, von denen jede a Antworten vorgebe (davon wiederum jeweils r richtige). Die Anzahl r richtiger Alternativen möge nicht zwischen den Aufgaben variieren und sei Prüflingen vorab bekannt. Eine Aufgabe gelte als korrekt gelöst genau dann, wenn sämtliche der r Richtigantworten und a–r Distraktoren erkannt, die Prüfung als bestanden, wenn c≤n Aufgaben richtig beantwortet werden. Bestimmt werden soll die Mindestanzahl n der Aufgaben, die zu stellen sind, um eine vorgegebene Wahrscheinlichkeit α des Bestehens der Prüfung durch "alleiniges Raten" (ausschließlich zufällige Auswahl von jeweils r Antworten in einer Aufgabe), zu kontrollieren.

Ergebnisse: Die Wahrscheinlichkeit, eine Aufgabe durch Raten korrekt zu lösen ist 1/(a r) mit Binominalkoeffizienten (a r)=a!/(r!(a-r)!). Die Wahrscheinlichkeit, die komplette Prüfung durch Raten zu bestehen, ist durch die Binomialverteilung mit Parametern n und 1/(a r) bestimmt.

Standardstrategien zur Fallzahlplanung liefern über Normalapproximation dieser Binomialverteilung eine Mindest-Aufgabenanzahl n(α) zur Kontrolle der Bestehenswahrscheinlichkeit α: Bezeichnet z[1-α] das (1-α)-Perzentil der Standard-Normalverteilung, ergibt sich n(α)=(z[1-α])^2/{[c–1/(a r)]*[1/(a r)*(1–1/(a r))]}.

Die Anzahl der benötigten Aufgaben nimmt insbesondere mit steigendem a und ebenso mit steigendem r (solange 2≤r≤a/2) monoton ab.

Um beispielsweise eine Bestehens-Wahrscheinlichkeit α=% in einer Prüfung mit 1-aus-5-Aufgaben zu kontrollieren, sind n=8 Aufgaben zu stellen; ferner genügen bereits n=5 Aufgaben bei jeweils r=2 von fünf richtigen Antworten.

Diskussion und Schlussfolgerung: Für in der Medizin übliche Prüfungsdesigns, z. B. n=50 1-aus-5 MCQ ist die Wahrscheinlichkeit, durch "alleiniges Raten" zu bestehen, <0,1%. Sie kann monoton mit steigender Zahl a von Antworten pro Aufgabe und steigender Zahl richtiger Antworten (≤a/2) verringert werden.