gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

27.09. - 29.09.2012, Aachen

Identifizierung von formalen Fehlern durch automatische Reviewalgorithmen

Vortrag

  • corresponding author Achim Hochlehnert - Universitätsklinikum Heidelberg, Heidelberg, Deutschland
  • Andreas Möltner - Kompetenzzentrum für Prüfungen in der Medizin in Baden-Württemberg, Heidelberg, Deutschland
  • Konstantin Brass - Kompetenzzentrum für Prüfungen in der Medizin in Baden-Württemberg, Heidelberg, Deutschland
  • Tobias Wojtanowski - Kompetenzzentrum für Prüfungen in der Medizin in Baden-Württemberg, Heidelberg, Deutschland
  • Winfried Kurtz - Kompetenzzentrum für Prüfungen in der Medizin in Baden-Württemberg, Heidelberg, Deutschland
  • Lars Feistner - Kompetenzzentrum für Prüfungen in der Medizin in Baden-Württemberg, Heidelberg, Deutschland
  • Marcus Lindner - Kompetenzzentrum für Prüfungen in der Medizin in Baden-Württemberg, Heidelberg, Deutschland
  • Jobst-Hendrik Schultz - Kompetenzzentrum für Prüfungen in der Medizin in Baden-Württemberg, Heidelberg, Deutschland
  • Jana Jünger - Kompetenzzentrum für Prüfungen in der Medizin in Baden-Württemberg, Heidelberg, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Aachen, 27.-29.09.2012. Düsseldorf: German Medical Science GMS Publishing House; 2012. DocV582

doi: 10.3205/12gma212, urn:nbn:de:0183-12gma2123

Veröffentlicht: 18. September 2012

© 2012 Hochlehnert et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielf&aauml;ltigt, verbreitet und &oauml;ffentlich zug&aauml;nglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Nach den Richtlinien der GMA ist die Begutachtung und Bewertung von Prüfungsinhalten ein wesentlicher Baustein der Qualitätssicherung studienbegleitender Prüfungen. Diese werden oftmals von einer Gruppe von fachinternen und -externen Experten (Review-Komitee) im Rahmen eines gemeinsamen Treffens durchgeführt.

Hierbei scheitert der zeit- und kostenintensive Review-Prozess, der vor allem auf inhaltlicher Basis stattfinden sollte, häufig schon an formalen Unstimmigkeiten der Items. Da die Überprüfung formaler Aspekte unabhängig von einer inhaltlichen Kontrolle erfolgen kann, wurden von uns für das Item-Management-System (IMS) automatisierte Review-Algorithmen entwickelt, die den Autor bereits während der Eingabe der Frage auf formale Diskrepanzen hinweisen.

Diese Algorithmen umfassen unter anderem die Identifizierung von signifikanten Längenunterschieden und Ähnlichkeiten von Antworten, doppelten Verneinungen im Fragetext oder Wortwiederholungen. In ersten Versuchen zeigte sich bei den Anwendern eine hohe Akzeptanz für diese Funktionalität. Die integrierten Algorithmen stellen ein wirksames Hilfsmittel bei der Eingabe der Fragen und damit bei der Vorauswahl der Fragen für die inhaltliche Begutachtung durch das Review-Komitee dar.