gms | German Medical Science

Hintergrund und Ziel: Seit dem Sommersemester 2016 werden an der Medizinischen Fakultät der Universität Ulm tabletbasierte schriftliche Prüfungen durchgeführt. Das Ziel der Einbindung von Bildmarkierungsaufgaben besteht einerseits in der Sicherstellung der Umsetzung innovativer, praxisorientierter Frageformate und andererseits in der entscheidenden Erhöhung des Digitalisierungsgrades im Prüfungswesen [1]. Am Beispiel der Region of Interest und Hot-Spot-Aufgaben, welche sich besonders für das Abfragen von prozeduralem Wissen eignen, sollen Einsatzmöglichkeiten von digitalen Prüfungswerkzeugen im Rahmen eines Projektes aufgezeigt werden.

Projektbeschreibung: In ausgewählten klinischen Wahlfächern wurden erstmalig die Aufgabentypen Region of Interest und Hot-Spot abgeprüft, deren Verwendung nur im Rahmen von E-Prüfungen möglich ist (siehe Abbildung 1 [Abb. 1]). Bei Region of Interest-Aufgaben muss der Prüfling einen gesuchten Bereich innerhalb eines Bildes erkennen und entsprechend kennzeichnen, die Markierung erfolgt hierbei mittels Freihandzeichnens auf dem Tablet. Anschließend lässt sich der prozentuale Übereinstimmungswert ermitteln, welcher standardmäßig bei 0,6 liegen muss (mind. 60% Übereinstimmung für das Erreichen voller Punktzahl). Dabei werden sowohl überflüssige als auch nicht ausreichend markierte Bereiche vom Gesamtübereinstimmungsgrad abgezogen. Im Rahmen des Pilotprojektes [2] wurde allerdings ein Überdeckungsgrad von 0,4 (40% Übereinstimmung) hinterlegt, der unverändert in die Auswertung einfloss.

Analog zu Region of Interest-Aufgaben müssen Prüflinge bei Hot-Spot-Aufgaben einen Bereich mittels Fadenkreuzes markieren. Befindet sich das Kreuz innerhalb der vorgegebenen Markierung, wird die Aufgabe als richtig bewertet, andernfalls werden keine Punkte vergeben.

Ergebnisse: Der bewusst großzügig gestaltete Bewertungsmodus führte zur 100% korrekten Beantwortung der Region of Interest-Fragen. Um die teststatistische Aussagekraft zu erhöhen und eine bessere Differenzierung der Prüfungsergebnisse zu ermöglichen, wurde als Überdeckungsgrad zwischenzeitlich 0,6 festgelegt.

Im Rahmen einer Evaluation wurde der Einsatz bildbasierter Fragenformate von den Prüflingen und PrüferInnen durchweg positiv bewertet. Die Daten können noch während der Prüfung auf Plausibilität überprüft werden und die unmittelbare automatische Auswertung trägt zu einer erheblichen Attraktivitätssteigerung sowie Effizienz im Prüfungswesen bei.

Take Home Message: Der Einsatz von Region of Interest und Hot-Spot Aufgaben eröffnet Möglichkeiten, die mit herkömmlichen Papierklausuren nicht umzusetzen wären, und leistet somit einen entscheidenden Beitrag für den Fortschritt der Digitalisierung im Prüfungswesen. In einem nächsten Schritt sollen neben Bildmarkierungs- ebenfalls Zuordnungsaufgaben zum Einsatz kommen, die eine manuelle Eingabe des Prüflings erfordern und somit Aufgabenstellungen auf konventionell nicht erreichbaren hohen Taxonomiestufen ermöglichen.