gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

23.09. - 25.09.2010, Bochum

Web-Basierte Anwendung zur Identifikation und Verbesserung von fünf häufigen Formfehlern bei Multiple-Choice Fragen

Vortrag

Search Medline for

  • corresponding author presenting/speaker Markus Weih - Universität Erlangen-Nürnberg, Psychiatrische und Psychotherapeutische Klinik, Erlangen, Deutschland
  • Andreas Brunnquell - Universität Erlangen-Nürnberg, Psychiatrische und Psychotherapeutische Klinik, Erlangen, Deutschland
  • Johannes Kornhuber - Universität Erlangen-Nürnberg, Psychiatrische und Psychotherapeutische Klinik, Erlangen, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Bochum, 23.-25.09.2010. Düsseldorf: German Medical Science GMS Publishing House; 2010. Doc10gma76

DOI: 10.3205/10gma076, URN: urn:nbn:de:0183-10gma0767

Published: August 5, 2010

© 2010 Weih et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Multiple-Choice Fragen sind die in der medizinischen Ausbildung am häufigsten verwendete Prüfungsform für Faktenwissen.

Multiple-Choicefragen gelten als unbeliebt, sind aber prinzipiell valide und objektiv, wenn die Prüfung unter hohen Qualitätsstandards durchgeführt wird. In der Praxis zeigt sich jedoch, dass der typischen Fragenautor zwar über ein ausgewiesen medizinisches Fachwissen verfügt, aber nicht über eine formale methodisch-didaktische Ausbildung zur korrekten Erstellung von Multiple-Choicefragen.

Folge sind häufig formale und inhaltliche Mängel, die letztlich die Validität der Prüfung ungünstig beeinträchtigen.

In der Vergangenheit wurde aus diesem Grund zunehmend auf Datenbanksysteme zurückgegriffen, die entweder validierte Fragen bereitstellen oder eine Qualitätskontrolle durch einen geschulten Peer ermöglichtenIn der vorliegenden Studie haben wir eine WWW-basierte Datenbank programmiert, die fünf häufige Formfehler von Multiple-Choicefragen erkennt und halbautomatisch eliminieren kann. Im Detail handelt es sich um folgende Formfehler:

  • Negativer Fragenstamm,
  • Unfokussierter Fragenstamm,
  • Cues,
  • Längste Antwort = Richtige Antwort,
  • Ähnlichkeiten zwischen Fragenstamm und Antwortmöglichkeiten

Die Software bewerkstelligt die Erkennung der Formfehler durch relative simple String-Algorithmen, die die eingegebenen Worte in einem gestuften Verfahren z. B. mit Schlüsselwörtern vergleicht.

Das System wurde mit einer umfangreichen Stichprobe von 800 CME-Fragen aus einer deutschen Facharztzeitschrift überprüft. In der derzeitigen Ausbaustufe erkennt das System ca. 60% aller Formfehler. Der Anteil der Formfehler, die nicht via Software erkannt werden, sind jedoch durch andere Maßnahmen wie Kurzmanuale oder klare Instruktionen an die Fragenautoren reduzierbar.

Insgesamt konnten wir mit der vorliegenden Studie zeigen, dass die Qualität von Multiple-Choicefragen durch eine entsprechend programmierte Software verbessert werden kann.