gms | German Medical Science

Joint congress of the Gesellschaft für Medizinische Ausbildung (GMA) and the Arbeitskreis zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ)

20.09. - 23.09.2017, Münster

Herausforderungen beim automatischen Klassieren von Fragen

Meeting Abstract

  • corresponding author presenting/speaker Marcus Lindner - Institut für Kommunikations- und Prüfungsforschung gGmbH, Heidelberg, Germany
  • Andreas Möltner - Germany
  • Lars Feistner - Germany
  • Konstantin Brass - Institut für Kommunikations- und Prüfungsforschung gGmbH, Heidelberg, Germany

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Münster, 20.-23.09.2017. Düsseldorf: German Medical Science GMS Publishing House; 2017. Doc127

doi: 10.3205/17gma127, urn:nbn:de:0183-17gma1275

Published: November 24, 2017

© 2017 Lindner et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Für die Prüfungsanalysen und Rückmeldungen an Prüflinge und Prüfungsverantwortliche werden immer mehr deskriptive Metadaten (z.B Fach, Lernziel, Schwierigkeit, ...) benötigt. Viele dieser Metadaten müssen von dem Ersteller der Aufgabe definiert werden. Somit dauert das Erstellen einer Aufgabe länger. Hinzu kommt, dass der Autor einer Aufgabe fehlendes oder ungenügendes Wissen über die benötigten Metadaten hat und somit diese nur unvollständig oder gar falsch angeben kann, was zu einer Reduktion der Qualität von Analysen oder Rückmeldungen führt.

Ein Expertensystem, welches mögliche Metadaten anhand der Aufgabe vorschlägt, kann die benötigte Zeit zum Erstellen von Aufgaben reduzieren und eventuelles Unwissen des Autors über die benötigten Metadaten ausgleichen.

Im Rahmen des MERLIN-Projektes wurde analysiert, wie gut Aufgaben mittels Support-Vector-Machines und Naive Bayes Klassifikatoren auf Basis von verschiedenen Textfragmentierungen automatisch Fächern und Unterfächern zuzuordnen sind.

Die Ergebnisse dieser Analysen zeigten, dass die verwendeten Verfahren für die Klassifikation von Aufgaben wenig geeignet sind, da die ermittelten Sensitivitäts- und Genauigkeitswerte (“Precision” und “Accuracy”) beim Testen zu gering waren.

In einer Nachanalyse wurde nach Gründen gesucht, warum die auf Textfragmentierung basierenden Algorithmen unzureichend sind. Als Probleme wurden unter anderem die potenzielle Zuordnung von Aufgaben zu mehreren Fächern und Unterfächern sowie die Methoden zur Textfragmentierung ermittelt.

Als Vorschlag zur Verbesserung der Klassifikationsgüte ist die Verwendung von Computerlinguistischer Verfahren, die zusätzlich Syntaktische und Semantische Informationen über den Aufgabentext mit einbezieht.