gms | German Medical Science

Fragestellung: Eine qualitativ hochwertige Klausur basiert auf einem gewichteten und detaillierten Inhaltsverzeichnis der Prüfungsziele („Blueprint“) [1]. Die Aufteilung des Prüfungsinhalts kann auf mehreren Ebenen erfolgen, z.B. Organsystem, Zuordnung zu einer CanMeds-Rolle, Wissensebene usw. Die Zusammenstellung einer Klausur aus Aufgaben einer Datenbank auf Basis eines mehrdimensionalen Blueprints wird, insbesondere wenn weitere Nebenkriterien wie z.B. die Bevorzugung von Fragen mit guten Qualitätsbeurteilung oder das Erreichen eines bestimmten mittleren Schwierigkeitsgrads zu berücksichtigen sind, leicht zu einer Denksportaufgabe.

Hier können automatisierte Verfahren zur Klausurgenerierung die Prüfungserstellung unterstützen (“Automated Test Assembly” ATA). Diese Methoden liefern auf Basis eines vorzugebenden Blueprints und eines Optimierungskriteriums Vorschläge zur Aufgabenwahl bis hin zu einer fertigen, den Blueprint beachtenden optimalen Klausur. Kann mit der verfügbaren Aufgabenmenge der Datenbank ein Blueprint nicht erfüllt werden, werden Angaben zu den fehlenden und damit neu zu erstellenden Aufgaben gemacht.

Formal führen Verfahren der automatisierten Klausurerstellung auf mathematische Optimierungsprobleme, die häufig nur mit exorbitantem Zeitaufwand vollständig gelöst werden können. Ziel der vorliegenden Studie war, an exemplarischen Beispielen verschiedener Blueprints und den in der Datenbank des Itemmanagementsystems IMS enthaltenen Aufgaben einen Methodenvergleich verschiedener Optimierungstechniken vorzunehmen. Zu den untersuchten Verfahrensklassen gehören z.B. die gemischt-ganzzahlige lineare Optimierung [2], [3] und der Rete-Algorithmus [4].

Methoden: Verschiedene ein- und zwei- oder mehrdimensionale Blueprints medizinischer Prüfungen wurden formalisiert und optimale Klausuren bezüglich

1.

Qualität der verwendeten Aufgaben in der Begutachtung,

2.

Vorgabe einer mittleren Schwierigkeit und

3.

Vorgabe der mittleren und der Varianz der Schwierigkeiten der Aufgaben

erstellt.

Die eingesetzten Verfahren wurden bezüglich der Optimalität der Lösungen, des Rechenzeitaufwands sowie deren Adaptationsmöglichkeitenen für verschieden formale Kriterien verglichen.

Ergebnisse: Die Suche nach optimalen Lösungen führt u.U. zu Rechenzeiten, die den Einsatz bei der interaktiven Erstellung von Klausuren nicht praktikabel machen. Der Rete-Algorithmus lieferte zwar teilweise sub-optimale Lösungen, die jedoch für die Praxis hinreichend nahe am Optimum waren.

Schlussfolgerung: Verfahren zur automatisierten Generierung von Klausuren auf Grundlage eines Blueprints erleichtern dem Prüfungsersteller erheblich die Suche nach passenden, dem Blueprint konformen Aufgaben. Die Studie führte zur Entwicklung eines Algorithmus, welcher auch beim interaktiven Einsatz zu akzeptablen Antwortzeiten führt.