gms | German Medical Science

Fragestellung/Zielsetzung: Künstliche Intelligenz (KI) wird in der Medizin bereits zu diagnostischen und chirurgischen Zwecken eingesetzt. In der med. Ausbildung ist der Einsatz von KI mit Fokus auf med. Prüfungen jedoch ein Desiderat. Wir haben uns auf das MC-Fragen Prüfungsformat fokussiert, da es ubiquitär eingesetzt wird, um stud. Lernprozesse und Wissen zu überprüfen und somit Kompetenzen zu fördern. Die Klassifikation bildet dabei eine wichtige Voraussetzung für das Mapping und die Verteilung med. Lernzielen und Kompetenzen in Prüfungsverläufen und -abschnitten [1]. Kann man daher KI für die Klassifikation von med. Fragen einsetzen?

Das Projekt imppACT (IMPP automatic classification tool) zeigt wie KI produktiv eingesetzt werden kann, um med. Fragen anhand des aktuellen IMPP-Gegenstandskatalogs automatisch zu klassieren. Es unterstützt die Autoren bei der Klassierung von med. Fragen, indem es passende Klassierungen vorschlägt, die vom Autor evaluiert und ausgewählt werden können. Fakultäten können imppACT über eine vom IMPP angebotene Webschnittstelle nutzen und ihre med. Fragen entsprechend klassieren. Auf diese Weise wird ein gemeinsames Klassifikationssystem angewendet, das wiederum die Möglichkeit für fakultätsspezifisches und stud. Feedback eröffnet.

Methoden: Für die Klassierung von med. MC-Fragen wurden Prüfungsfragenkorpora mit 21.000 Fragen vom IMPP (M1 und M2) in einem Preprocessing zunächst aufbereitet, um verschiedene überwachte maschinelle Lernverfahren, wie z.B. Support-Vector-Machine, Naïve Bayes und ein dynamisches Neuronales Netz [2] zu testen und zu evaluieren. Da med. Fragen mehreren Klassen eines Katalogs zugehören und somit mehrere Lernziele abfragen können, wurde die Multi-Label-Problematik [3] berücksichtigt: Der Klassifikator ist daher fähig auf der Grundlage statistischer Gewichtungen relationale Vorschläge für Fragen vorzunehmen.

Ergebnisse: Die Ergebnisse sind trotz der kleinen Trainingsmenge erfolgsversprechend. Die Accuracy im Bereich M1 liegt bei: Fächer: 90,35 %; Unterfächer: 62,13%; Gegenstand: 51,02%. Für M2 unter Berücksichtigung der Multi-Label-Problematik: Fächer: 81,26%; Gruppen & Gegenstände: 50,49%; Med. Kategorien: 44,01%.

Diskussion: In Zukunft sind größere Datenmengen notwendig, um die Präzision des selbstlernenden Klassifikators zu verbessern. Die Ergebnisse sind als Proof-of-Concept zu interpretieren und zeigen, dass das imppACT funktioniert. Gemeinsame Klassifikationssysteme bilden die Grundlage für weitere Methoden, wie z.B. Feedback für Studierende sowie Fakultäten. Darüber hinaus sind, longitudinal betrachtet, synoptische Äquivalenzabgleiche zwischen IMPP und den Fakultäten möglich. Der Klassifikator als Autorentool ebnet erste Schritte dorthin.

Take home messages: Mehrfachklassierung ist die Grundlage für ein differenziertes Feedback an Studierende, Fakultäten sowie Frageautoren. Eine autom. Klassifikation von Prüfungsfragen unterstützt hierbei die Autoren im besonderen Maße.