Article
Herausforderungen beim automatischen Klassieren von Fragen
Search Medline for
Authors
Published: | November 24, 2017 |
---|
Outline
Text
Für die Prüfungsanalysen und Rückmeldungen an Prüflinge und Prüfungsverantwortliche werden immer mehr deskriptive Metadaten (z.B Fach, Lernziel, Schwierigkeit, ...) benötigt. Viele dieser Metadaten müssen von dem Ersteller der Aufgabe definiert werden. Somit dauert das Erstellen einer Aufgabe länger. Hinzu kommt, dass der Autor einer Aufgabe fehlendes oder ungenügendes Wissen über die benötigten Metadaten hat und somit diese nur unvollständig oder gar falsch angeben kann, was zu einer Reduktion der Qualität von Analysen oder Rückmeldungen führt.
Ein Expertensystem, welches mögliche Metadaten anhand der Aufgabe vorschlägt, kann die benötigte Zeit zum Erstellen von Aufgaben reduzieren und eventuelles Unwissen des Autors über die benötigten Metadaten ausgleichen.
Im Rahmen des MERLIN-Projektes wurde analysiert, wie gut Aufgaben mittels Support-Vector-Machines und Naive Bayes Klassifikatoren auf Basis von verschiedenen Textfragmentierungen automatisch Fächern und Unterfächern zuzuordnen sind.
Die Ergebnisse dieser Analysen zeigten, dass die verwendeten Verfahren für die Klassifikation von Aufgaben wenig geeignet sind, da die ermittelten Sensitivitäts- und Genauigkeitswerte (“Precision” und “Accuracy”) beim Testen zu gering waren.
In einer Nachanalyse wurde nach Gründen gesucht, warum die auf Textfragmentierung basierenden Algorithmen unzureichend sind. Als Probleme wurden unter anderem die potenzielle Zuordnung von Aufgaben zu mehreren Fächern und Unterfächern sowie die Methoden zur Textfragmentierung ermittelt.
Als Vorschlag zur Verbesserung der Klassifikationsgüte ist die Verwendung von Computerlinguistischer Verfahren, die zusätzlich Syntaktische und Semantische Informationen über den Aufgabentext mit einbezieht.