gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

23.09. - 25.09.2010, Bochum

Web-Basierte Anwendung zur Identifikation und Verbesserung von fünf häufigen Formfehlern bei Multiple-Choice Fragen

Vortrag

Suche in Medline nach

  • corresponding author presenting/speaker Markus Weih - Universität Erlangen-Nürnberg, Psychiatrische und Psychotherapeutische Klinik, Erlangen, Deutschland
  • Andreas Brunnquell - Universität Erlangen-Nürnberg, Psychiatrische und Psychotherapeutische Klinik, Erlangen, Deutschland
  • Johannes Kornhuber - Universität Erlangen-Nürnberg, Psychiatrische und Psychotherapeutische Klinik, Erlangen, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Bochum, 23.-25.09.2010. Düsseldorf: German Medical Science GMS Publishing House; 2010. Doc10gma76

doi: 10.3205/10gma076, urn:nbn:de:0183-10gma0767

Veröffentlicht: 5. August 2010

© 2010 Weih et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Multiple-Choice Fragen sind die in der medizinischen Ausbildung am häufigsten verwendete Prüfungsform für Faktenwissen.

Multiple-Choicefragen gelten als unbeliebt, sind aber prinzipiell valide und objektiv, wenn die Prüfung unter hohen Qualitätsstandards durchgeführt wird. In der Praxis zeigt sich jedoch, dass der typischen Fragenautor zwar über ein ausgewiesen medizinisches Fachwissen verfügt, aber nicht über eine formale methodisch-didaktische Ausbildung zur korrekten Erstellung von Multiple-Choicefragen.

Folge sind häufig formale und inhaltliche Mängel, die letztlich die Validität der Prüfung ungünstig beeinträchtigen.

In der Vergangenheit wurde aus diesem Grund zunehmend auf Datenbanksysteme zurückgegriffen, die entweder validierte Fragen bereitstellen oder eine Qualitätskontrolle durch einen geschulten Peer ermöglichtenIn der vorliegenden Studie haben wir eine WWW-basierte Datenbank programmiert, die fünf häufige Formfehler von Multiple-Choicefragen erkennt und halbautomatisch eliminieren kann. Im Detail handelt es sich um folgende Formfehler:

  • Negativer Fragenstamm,
  • Unfokussierter Fragenstamm,
  • Cues,
  • Längste Antwort = Richtige Antwort,
  • Ähnlichkeiten zwischen Fragenstamm und Antwortmöglichkeiten

Die Software bewerkstelligt die Erkennung der Formfehler durch relative simple String-Algorithmen, die die eingegebenen Worte in einem gestuften Verfahren z. B. mit Schlüsselwörtern vergleicht.

Das System wurde mit einer umfangreichen Stichprobe von 800 CME-Fragen aus einer deutschen Facharztzeitschrift überprüft. In der derzeitigen Ausbaustufe erkennt das System ca. 60% aller Formfehler. Der Anteil der Formfehler, die nicht via Software erkannt werden, sind jedoch durch andere Maßnahmen wie Kurzmanuale oder klare Instruktionen an die Fragenautoren reduzierbar.

Insgesamt konnten wir mit der vorliegenden Studie zeigen, dass die Qualität von Multiple-Choicefragen durch eine entsprechend programmierte Software verbessert werden kann.