gms | German Medical Science

Einleitung: Seit dem Sommersemester 2005 werden in der Medizinischen Fakultät der Universität zu Köln praktische Fertigkeiten in einem summativen OSCE im 9. Studiensemester als notengebende Abschlussprüfung der Blockpraktika Innere Medizin, Chirurgie, Kinderheilkunde und Gynäkologie realisiert. Insbesondere seitens der Studierenden wird diese Prüfungsform zufriedenstellend evaluiert. Weil die Entwicklung von guten Prüfungsstationen für einen OSCE sehr aufwändig ist, werden diese häufig längerfristig verwendet, wobei in Köln darauf geachtet wird, dass die Checklisten zur Bewertung nicht veröffentlicht werden. Hiermit soll verhindert werden, dass ein Auswendiglernen der Checklisten die Prüfungsergebnisse verfälscht bzw. konstruktirrelevante Varianz die Prüfungsqualität verringert. Es ergibt sich nun die Frage, ob eine Änderung der Reliabilität über die Zeit zu beobachten ist.

Material und Methoden: Es wurden retrospektiv die Daten der OSCE-Durchgänge zwischen dem Wintersemester 2010/11 und 2012/13 analysiert. Die Reliabilitätsanalyse (Itemstatistik, Trennschärfe und Cronbachs Alpha) wurde mittels SPSS (Version 21) von den OSCE-Stationen bestimmt (n=7 Stationen), die über alle untersuchten Semester in gleicher Weise durchgeführt wurden.

Ergebnisse: Die Mittelwerte und Streuung der Items sowie die korrigierten Item-Skala-Korrelationen weisen keine Unterschiede über die Zeit aus. Einzig die Reliabilität der Gesamtskala lässt einen Trend erkennen: Von ursprünglich Cronbachs Alpha=0,64 ist die Reliabilität nach 5 Semestern auf Cronbachs Alpha=0,54 gesunken. Dieser Unterschied ist allerdings nicht signifikant.

Diskussion: Die Analyse vergangener OSCE-Durchführungen zeigt eine stabile Reliabilität der Stationen unabhängig von der Häufigkeit ihrer Verwendung. Teststatistisch erscheinen die Stationen damit auch nach längerem Einsatz robust. Ob sich der augenscheinlich negative Trend über einen längeren Zeitraum weiter beobachten lässt, wird sich in den nächsten Semestern zeigen.