Artikel
Evaluation einer zahnärztlich-chirurgischen OSCE-Prüfung – die Bewertungen studentischer und ärztlicher Rater im Vergleich
Suche in Medline nach
Autoren
Veröffentlicht: | 31. August 2015 |
---|
Gliederung
Text
Fragestellung/Einleitung: Im Wintersemester 2014/15 wurde erstmals eine formative, standardisierte Prüfung klinisch-praktischer Fertigkeiten als objective structured clinical examination (OSCE) für das Fach zahnärztliche Chirurgie an der Universitätsmedizin Göttingen durchgeführt. Der Prüfungsparcours bestand aus 6 Stationen, zwei davon waren als Video-Stationen ohne anwesende Rater konzipiert [1]. Alle Stationen wurden doppelt von einem studentischen und einem ärztlichen Rater bewertet. Ziel der Studie war es, die Testgütekriterien zu erheben und die Rater-Übereinstimmung zu untersuchen.
Methoden: Bereits im Juli 2014 erfolgte die Pilotierung der Stationen. Die drei zahnärztlich-chirurgischen Stationen (Lokalanästhesie vor Zahnextraktion, Zahnextraktion und intraorale Naht am Phantom) wurden ergänzt durch eine Basic-Life-Support-Station und zwei Video-Stationen (präoperatives Aufklärungsgespräch vor Zahnextraktion und postoperatives Gespräch nach Verschluss einer Mund-Antrum-Verbindung). Die studentischen Teilnehmer/innen des Pilotierungsdurchgangs standen dann als Rater für die OSCE-Prüfung im Oktober 2014 zur Verfügung. Studentische wie ärztliche Rater wurden gleichermaßen ausführlich geschult und bewerteten Tablet-basiert die Leistungen der 36 Studierenden des 8. Semesters mittels Checklisten und Globalbeurteilungen.
Ergebnisse: Die Itemanalyse ergab für den Gesamt-OSCE eine Schwierigkeit von 0,700 (MW) und Trennschärfen von 0,099 bis 0,469, Mittelwert 0,259 bei einem Cronbachs Alpha von 0,575 (MW). Cronbachs Alpha der beiden Gesprächs-Stationen (Video-Stationen) betrug 0,778 und 0,837 mit Item-Trennschärfen überwiegend deutlich über 0,3. Die anderen Stationen zeigten ein Cronbachs Alpha von 0,428 (BLS) über 0,560 (Lokalanästhesie) und 0,594 (Zahnextraktion) bis zu 0,675 der Nahtstation bei schwankenden Trennschärfen von -0,025 bis 0,49. Die Interrater-Übereinstimmung zwischen studentischen und ärztlichen Prüfern war über alle Stationen hoch (ICC 0,888:Gesamt-OSCE; MW 0,678). Die Differenz beider Raterguppen (Ärzte : Studierende) betrug hier im Mittel -0,02 mit einer Standardabweichung SD von 0,04. Auch unterschieden sich die zahnärztlichen und studentischen Rater nur wenig bezüglich der Item-Mittelwerte in den einzelnen Stationen. Die Differenz der Checklistenbewertung betrug 0,00 mit einer SD von 0,04, die der Globalnotenmittelwerte 0,020 mit einer SD von 0,27.
Diskussion/Schlussfolgerung: In der ZMK-Klinik der Universitätsmedizin Göttingen wurde erstmals eine formative OSCE-Prüfung erfolgreich eingeführt. Aus den Ergebnissen der Itemanalyse werden nun für einige Stationen Verbesserungen zur Steigerung der Testgüte abgeleitet, so dass die OSCE-Prüfung dann zukünftig als summative Prüfung durchgeführt werden kann.
Zur Beurteilung zahnärztlich-chirurgischer Fertigkeiten im Rahmen einer derartigen Prüfung können gleichermaßen geschulte studentische Rater und ärztliche Rater eingesetzt werden. Damit bestätigen wir die Ergebnisse einer Studie für medizinische Prüfungen im OSCE-Format [2].
Literatur
- 1.
- Kiehl C, Simmenroth-Nayda A, Goerlich Y, Entwistle A, Schiekirka S, Ghadimi BM, Raupach T, Koenig S. Standardized and quality-assured video-recorded examination in undergraduate education: informed consent prior to surgery. J Surg Res. 2014;191(1):64-73. DOI: 10.1016/j.jss.2014.01.048
- 2.
- Chenot JF, Simmenroth-Nayda A, Koch A, Fischer T, Scherer M, Emmert B, Stanske B, Kochen MM, Himmel W. Can student tutors act as examiners in an objective structured clinical examination? Med Educ. 2007;41(11):1032-1038. DOI: 10.1111/j.1365-2923.2007.02895.x