gms | German Medical Science

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ)

30.09. - 03.10.2015, Leipzig

Evaluation einer zahnärztlich-chirurgischen OSCE-Prüfung – die Bewertungen studentischer und ärztlicher Rater im Vergleich

Meeting Abstract

Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA) und des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ). Leipzig, 30.09.-03.10.2015. Düsseldorf: German Medical Science GMS Publishing House; 2015. DocP11-147

doi: 10.3205/15gma288, urn:nbn:de:0183-15gma2889

Veröffentlicht: 31. August 2015

© 2015 Schwarzer et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen. Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden. Lizenz-Angaben siehe http://creativecommons.org/licenses/by-nc-nd/3.0/.


Gliederung

Text

Fragestellung/Einleitung: Im Wintersemester 2014/15 wurde erstmals eine formative, standardisierte Prüfung klinisch-praktischer Fertigkeiten als objective structured clinical examination (OSCE) für das Fach zahnärztliche Chirurgie an der Universitätsmedizin Göttingen durchgeführt. Der Prüfungsparcours bestand aus 6 Stationen, zwei davon waren als Video-Stationen ohne anwesende Rater konzipiert [1]. Alle Stationen wurden doppelt von einem studentischen und einem ärztlichen Rater bewertet. Ziel der Studie war es, die Testgütekriterien zu erheben und die Rater-Übereinstimmung zu untersuchen.

Methoden: Bereits im Juli 2014 erfolgte die Pilotierung der Stationen. Die drei zahnärztlich-chirurgischen Stationen (Lokalanästhesie vor Zahnextraktion, Zahnextraktion und intraorale Naht am Phantom) wurden ergänzt durch eine Basic-Life-Support-Station und zwei Video-Stationen (präoperatives Aufklärungsgespräch vor Zahnextraktion und postoperatives Gespräch nach Verschluss einer Mund-Antrum-Verbindung). Die studentischen Teilnehmer/innen des Pilotierungsdurchgangs standen dann als Rater für die OSCE-Prüfung im Oktober 2014 zur Verfügung. Studentische wie ärztliche Rater wurden gleichermaßen ausführlich geschult und bewerteten Tablet-basiert die Leistungen der 36 Studierenden des 8. Semesters mittels Checklisten und Globalbeurteilungen.

Ergebnisse: Die Itemanalyse ergab für den Gesamt-OSCE eine Schwierigkeit von 0,700 (MW) und Trennschärfen von 0,099 bis 0,469, Mittelwert 0,259 bei einem Cronbachs Alpha von 0,575 (MW). Cronbachs Alpha der beiden Gesprächs-Stationen (Video-Stationen) betrug 0,778 und 0,837 mit Item-Trennschärfen überwiegend deutlich über 0,3. Die anderen Stationen zeigten ein Cronbachs Alpha von 0,428 (BLS) über 0,560 (Lokalanästhesie) und 0,594 (Zahnextraktion) bis zu 0,675 der Nahtstation bei schwankenden Trennschärfen von -0,025 bis 0,49. Die Interrater-Übereinstimmung zwischen studentischen und ärztlichen Prüfern war über alle Stationen hoch (ICC 0,888:Gesamt-OSCE; MW 0,678). Die Differenz beider Raterguppen (Ärzte : Studierende) betrug hier im Mittel -0,02 mit einer Standardabweichung SD von 0,04. Auch unterschieden sich die zahnärztlichen und studentischen Rater nur wenig bezüglich der Item-Mittelwerte in den einzelnen Stationen. Die Differenz der Checklistenbewertung betrug 0,00 mit einer SD von 0,04, die der Globalnotenmittelwerte 0,020 mit einer SD von 0,27.

Diskussion/Schlussfolgerung: In der ZMK-Klinik der Universitätsmedizin Göttingen wurde erstmals eine formative OSCE-Prüfung erfolgreich eingeführt. Aus den Ergebnissen der Itemanalyse werden nun für einige Stationen Verbesserungen zur Steigerung der Testgüte abgeleitet, so dass die OSCE-Prüfung dann zukünftig als summative Prüfung durchgeführt werden kann.

Zur Beurteilung zahnärztlich-chirurgischer Fertigkeiten im Rahmen einer derartigen Prüfung können gleichermaßen geschulte studentische Rater und ärztliche Rater eingesetzt werden. Damit bestätigen wir die Ergebnisse einer Studie für medizinische Prüfungen im OSCE-Format [2].


Literatur

1.
Kiehl C, Simmenroth-Nayda A, Goerlich Y, Entwistle A, Schiekirka S, Ghadimi BM, Raupach T, Koenig S. Standardized and quality-assured video-recorded examination in undergraduate education: informed consent prior to surgery. J Surg Res. 2014;191(1):64-73. DOI: 10.1016/j.jss.2014.01.048 Externer Link
2.
Chenot JF, Simmenroth-Nayda A, Koch A, Fischer T, Scherer M, Emmert B, Stanske B, Kochen MM, Himmel W. Can student tutors act as examiners in an objective structured clinical examination? Med Educ. 2007;41(11):1032-1038. DOI: 10.1111/j.1365-2923.2007.02895.x Externer Link