gms | German Medical Science

Fragestellung: Jede summative Lizenzprüfung kommt - streng genommen - zu mindestens 3 möglichen Ergebnissen: "bestanden", "nicht bestanden" und "nicht entscheidbar" (dies tritt bei Studierenden auf, deren Prüfungsergebnis so nahe an der Bestehensgrenze liegt, dass aufgrund des Messfehlers der Prüfung keine vertretbar sichere Entscheidung gefällt werden kann). Je höher die Reliabilität einer Prüfung, desto kleiner ist der Messfehler und desto geringer ist die Zahl der KandidatInnen, die "nicht entscheidbar" sind.

Der OSCE (als Goldstandard unter den praktischen Prüfungen) ist sehr aufwändig, wenn er reliabel messen soll. Da unsere Studierendenzahlen hoch und unsere Ressourcen begrenzt sind, wir aber nicht auf eine summative praktische Prüfung verzichten wollen, geht diese Studie der Frage nach, ob ein sequentieller OSCE [1] (screening aller Studierenden an 6 Stationen, weitere Stationen nur für Studierende, die im Grenzbereich liegen), kombiniert mit einem schriftlichen Test [2], eine gangbare Alternative ist.

Methodik: Wir addierten bei 205 KandidatInnen die Ergebnisse von 2 "virtuellen" Stationen (generiert aus einem schriftlichen Test mit 2 x 20 Fragen, der ausschließlich prozedurales Wissen prüft) zu unseren 6 OSCE Stationen. Wir berechneten die Korrelationen zwischen den beiden schriftlichen Stationen mit den OSCE Stationen, sowie die Reliabilität der Prüfung. Studierende, deren Prüfungsergebnis innerhalb des 95-prozentigen Konfidenzintervalls um die Bestehensgrenze herum lag, definierten wir als "nicht entscheidbar".

Ergebnisse: Die virtuellen Stationen des schriftlichen Tests und alle OSCE Stationen korrelierten mit- und untereinander positiv (zwischen 0.05 und 0.45), was einen Hinweis auf die Konstruktvalidität des Tests gibt. Die Prüfung erreicht eine Reliabilität von 0.62 (Cronbach α) und ein daraus resultierendes Konfidenzintervall um die Bestehensgrenze von ±23% der Maximalpunkteanzahl. 25% unserer Studierenden waren somit "nicht entscheidbar".

Schlussfolgerung: Diese Studie zeigt erneut, dass OSCEs gut mit schriftlichen Prüfungen korrelieren [3]. Die beiden schriftlichen Stationen erhöhen auch die Inhaltsvalidität. Trotz einer Reliabilität unterhalb der international geforderten 0.8, können wir mit der Kombination aus 6 OSCE Stationen und einem schriftlichen Test für 75% unserer Studierenden bereits ausreichend abgesicherte Aussagen über Ihr "bestehen" oder "nicht bestehen" treffen. Die verbleibenden 25%, die noch "nicht entschieden" werden können, sind in einer 2. Runde durch weitere Stationen zu schleusen, um den Messfehler in dieser Gruppe auf ein akzeptables Niveau zu senken. Dieser Ansatz ist sehr ressourcensparend. Es gilt in Folgestudien abzuklären, ob der praktische Teil der Prüfung für das screening noch weiter reduziert, der schriftliche Test noch weiter ausgebaut werden kann, ohne die Validität und Lernsteuerung der Prüfung zu gefährden.