gms | German Medical Science

Zielsetzung: Die strukturierte mündliche Prüfung (SMP) ist eine Leistungsbeurteilung, die ein höheres Kompetenzlevel als schriftliche Prüfungsmodalitäten abprüfen kann. SMPs sind jedoch auch ressourcenintensiv und die Prüfungsfragen müssen gut auf das Prüfungsformat abgestimmt sein. Wir haben uns das Ziel gesetzt ein digitales Prüfungssystem zur Abhaltung der SMP mit randomisierten Prüfungsfragen zu etablieren und berichten unsere Erfahrungswerte.

Methoden: Es wurde ein Pool von Prüfungsfragen erstellt, die das gesamte Fachgebiet der Augenheilkunde auf Niveau des österreichischen Lernzielkatalogs abdecken. Jede Prüfungsfrage hat die gleiche Punkteanzahl und besteht aus 3-6 Teilfragen. Zur Erstellung, Review, Korrektur und Versionierung der Prüfungsfragen wurde das Item Management System (IMS, Institut für Kommunikations- und Prüfungsforschung gGmbH, Deutschland) verwendet. Der gesamte Pool von Prüfungsfragen wird auf einen Server der Universität übertragen und dann auf das Tablet synchronisiert. Dort erfolgt während der Prüfung die Beurteilung. Alle Prüfungsfragen stehen ausgedruckt und foliert in 6 Kategorien zu Verfügung (siehe Abbildung 1 [Abb. 1]). Jedem/r Studierenden/r werden randomisiert zwei Fragen zugeteilt (je eine fallbasierte Frage und eine Verständnisfrage). Dabei wird darauf geachtet, dass verschiedene Bereiche des Fachgebiets abgedeckt sind.

Ergebnisse: Es wurden bisher 238 Studierende in 6 Prüfungsdurchgängen geprüft. Die Prüfungsvorbereitungen waren aufgrund der Verwendung des gesamten Prüfungspools einfach. Die Synchronisation zwischen Server und Tablets verlief aufgrund von Sicherheitsaspekten des universitären Netzwerks instabil. Während der Prüfung kam es zu keinen technischen Schwierigkeiten. Die Randomisierung von Fragen führte zu einer gleichmäßigen und somit gerechten Verwendung aller Fragen. Derzeit existiert noch keine Schnittstelle zwischen dem Beurteilungsystem (tOSCE) und dem Campus-Management-System (Campusonline, Technische Universität Graz), in welchem die Benotungen freigeschaltet werden. Daher verlief die Prüfungsauswertung semiautomatisiert.

Diskussion: Ein gut etabliertes digitales Prüfungssystem führt zu einer geringeren Fehlerquote bei der Beurteilung, da Bearbeitungsfehler durch Automatisierung reduziert werden. Die Prüfungsergebnisse stehen direkt nach der Prüfung zu Verfügung. Ein weiterer Vorteil ist das Einsparen von der Naturressource Papier. Die Implementierung des digitalen Prüfungssystems hat jedoch auch seine Herausforderungen: Bei uns waren dies Netzwerkprobleme und fehlende Schnittstellen. Durch die Randomisierung der Prüfungsfragen

1.

kann die Prüfung nicht zuvor an die Öffentlichkeit verbreitet werden,

2.

können die Prüfer*innen keine persönliche Präferenz des Stoffgebiets in die Beurteilung mit einfließen lassen,

3.

wird bei jeder Prüfung nahezu das gesamte Stoffgebiet geprüft.