gms | German Medical Science

Multiple-Choice Fragen sind die in der medizinischen Ausbildung am häufigsten verwendete Prüfungsform für Faktenwissen.

Multiple-Choicefragen gelten als unbeliebt, sind aber prinzipiell valide und objektiv, wenn die Prüfung unter hohen Qualitätsstandards durchgeführt wird. In der Praxis zeigt sich jedoch, dass der typischen Fragenautor zwar über ein ausgewiesen medizinisches Fachwissen verfügt, aber nicht über eine formale methodisch-didaktische Ausbildung zur korrekten Erstellung von Multiple-Choicefragen.

Folge sind häufig formale und inhaltliche Mängel, die letztlich die Validität der Prüfung ungünstig beeinträchtigen.

In der Vergangenheit wurde aus diesem Grund zunehmend auf Datenbanksysteme zurückgegriffen, die entweder validierte Fragen bereitstellen oder eine Qualitätskontrolle durch einen geschulten Peer ermöglichtenIn der vorliegenden Studie haben wir eine WWW-basierte Datenbank programmiert, die fünf häufige Formfehler von Multiple-Choicefragen erkennt und halbautomatisch eliminieren kann. Im Detail handelt es sich um folgende Formfehler:

• Negativer Fragenstamm,
• Unfokussierter Fragenstamm,
• Cues,
• Längste Antwort = Richtige Antwort,
• Ähnlichkeiten zwischen Fragenstamm und Antwortmöglichkeiten

Die Software bewerkstelligt die Erkennung der Formfehler durch relative simple String-Algorithmen, die die eingegebenen Worte in einem gestuften Verfahren z. B. mit Schlüsselwörtern vergleicht.

Das System wurde mit einer umfangreichen Stichprobe von 800 CME-Fragen aus einer deutschen Facharztzeitschrift überprüft. In der derzeitigen Ausbaustufe erkennt das System ca. 60% aller Formfehler. Der Anteil der Formfehler, die nicht via Software erkannt werden, sind jedoch durch andere Maßnahmen wie Kurzmanuale oder klare Instruktionen an die Fragenautoren reduzierbar.

Insgesamt konnten wir mit der vorliegenden Studie zeigen, dass die Qualität von Multiple-Choicefragen durch eine entsprechend programmierte Software verbessert werden kann.