gms | German Medical Science

Fragestellung/Einleitung: Im Wintersemester 2014/15 wurde erstmals eine formative, standardisierte Prüfung klinisch-praktischer Fertigkeiten als objective structured clinical examination (OSCE) für das Fach zahnärztliche Chirurgie an der Universitätsmedizin Göttingen durchgeführt. Der Prüfungsparcours bestand aus 6 Stationen, zwei davon waren als Video-Stationen ohne anwesende Rater konzipiert [1]. Alle Stationen wurden doppelt von einem studentischen und einem ärztlichen Rater bewertet. Ziel der Studie war es, die Testgütekriterien zu erheben und die Rater-Übereinstimmung zu untersuchen.

Methoden: Bereits im Juli 2014 erfolgte die Pilotierung der Stationen. Die drei zahnärztlich-chirurgischen Stationen (Lokalanästhesie vor Zahnextraktion, Zahnextraktion und intraorale Naht am Phantom) wurden ergänzt durch eine Basic-Life-Support-Station und zwei Video-Stationen (präoperatives Aufklärungsgespräch vor Zahnextraktion und postoperatives Gespräch nach Verschluss einer Mund-Antrum-Verbindung). Die studentischen Teilnehmer/innen des Pilotierungsdurchgangs standen dann als Rater für die OSCE-Prüfung im Oktober 2014 zur Verfügung. Studentische wie ärztliche Rater wurden gleichermaßen ausführlich geschult und bewerteten Tablet-basiert die Leistungen der 36 Studierenden des 8. Semesters mittels Checklisten und Globalbeurteilungen.

Ergebnisse: Die Itemanalyse ergab für den Gesamt-OSCE eine Schwierigkeit von 0,700 (MW) und Trennschärfen von 0,099 bis 0,469, Mittelwert 0,259 bei einem Cronbachs Alpha von 0,575 (MW). Cronbachs Alpha der beiden Gesprächs-Stationen (Video-Stationen) betrug 0,778 und 0,837 mit Item-Trennschärfen überwiegend deutlich über 0,3. Die anderen Stationen zeigten ein Cronbachs Alpha von 0,428 (BLS) über 0,560 (Lokalanästhesie) und 0,594 (Zahnextraktion) bis zu 0,675 der Nahtstation bei schwankenden Trennschärfen von -0,025 bis 0,49. Die Interrater-Übereinstimmung zwischen studentischen und ärztlichen Prüfern war über alle Stationen hoch (ICC 0,888:Gesamt-OSCE; MW 0,678). Die Differenz beider Raterguppen (Ärzte : Studierende) betrug hier im Mittel -0,02 mit einer Standardabweichung SD von 0,04. Auch unterschieden sich die zahnärztlichen und studentischen Rater nur wenig bezüglich der Item-Mittelwerte in den einzelnen Stationen. Die Differenz der Checklistenbewertung betrug 0,00 mit einer SD von 0,04, die der Globalnotenmittelwerte 0,020 mit einer SD von 0,27.

Diskussion/Schlussfolgerung: In der ZMK-Klinik der Universitätsmedizin Göttingen wurde erstmals eine formative OSCE-Prüfung erfolgreich eingeführt. Aus den Ergebnissen der Itemanalyse werden nun für einige Stationen Verbesserungen zur Steigerung der Testgüte abgeleitet, so dass die OSCE-Prüfung dann zukünftig als summative Prüfung durchgeführt werden kann.

Zur Beurteilung zahnärztlich-chirurgischer Fertigkeiten im Rahmen einer derartigen Prüfung können gleichermaßen geschulte studentische Rater und ärztliche Rater eingesetzt werden. Damit bestätigen wir die Ergebnisse einer Studie für medizinische Prüfungen im OSCE-Format [2].