gms | German Medical Science

Einleitung: Die Auswertung von OSCEs (Objective Structured Clinical Examination) zur Prüfung ärztlicher Kompetenzen stellt eine besondere Herausforderung dar. Eine Vergleichbarkeit der Bewertungen sollte über mehrere Parcours und Tage sichergestellt werden [1]. Der Tatsache, dass sich bereits nach dem ersten Durchlauf die Studierenden über Hinweise zur Prüfung austauschen (z.B. „Frage unbedingt nach Bauchschmerzen!“), kann nur bedingt entgegengewirkt werden.

Im Rahmen der klassischen Testtheorie wird die Borderline Regressionsmethode zur Berechnung unterschiedlicher Bestehensgrenzen der Station über Prüfungstage verwendet [2]. Eine Möglichkeit der Validierung der Ratingskalen bei Kommunikations-OSCEs bleibt jedoch aus [3]. In vorliegender Arbeit wird ein probabilistischer Ansatz gewählt, der eine Standardisierung der Prüfungsergebnisse durch differenzierte Analyse der Ratingkategorien mit konsekutivem, mathematischem Modelling der Ergebnisse ermöglicht.

Material und Methoden: Im Sommersemester 2019 wurde an der Medizinischen Fakultät in Würzburg im interdisziplinären Basisfertigkeiten-OSCE mit 149 Studierenden über zwei Prüfungstage erstmals eine Station zur Messung ärztlicher Anamnesekompetenz eingesetzt. Die Station umfasste die vegetative Anamnese mit einem Schauspielpatienten, geschulte Rater bewerteten mithilfe von Tablets. Die Checkliste bestand aus insgesamt 21 Items, die auf einer zwei- oder dreistufigen Likertskala verhaltensnah verankert waren. Zur Auswertung der Ergebnisse fand das Partial Credit Model (PCM) Anwendung, die Berechnungen wurden mittels des extended Raschmodeling (eRm) package durchgeführt.

Ergebnisse: Differential Item Functioning (DIF) konnte zwischen dem ersten und zweiten OSCE-Tag für die Items „Gewichtsabnahme“, „Schlaf“ und „Verdauung“ festgestellt werden, die auf einer dreistufigen Likertskala bewertet wurden. Das PCM deckte die genaue Lokalisation der Schwierigkeitsverschiebung anhand der Schwellenparameter auf. Statistisch konnte eindeutig belegt werden, dass es den Studierenden des 2. Prüfungstages verstärkt gelungen war, anstelle gar keiner Lösung („nicht erfragt“) nun eine Teillösung zu nennen („teilweise erfragt“). Die korrekte anamnestische Erhebung („vollständig erfragt“) war dagegen nicht betroffen. Folglich wurde im Sinne eines systematischen Modellings die Schwierigkeitskorrektur für die jeweiligen Schwellenparameter vorgenommen, wodurch nicht-vergleichbare Prüfungsbedingungen nivelliert werden.

Schlussfolgerung: Anders als bei der Borderline-Regression muss nicht die Bestehensgrenze korrigiert werden, sondern kontaminierende Einflussgrößen werden bereits auf Ebene der Antwortoptionen individuell detektiert und in die Berechnungen mit einbezogen. Eine Standardisierung wie auch eine erhöhte Fairness der Prüfungsauswertung werden somit herbeigeführt. Ratingskalen bei Kommunikations-OSCEs können so differenziert betrachtet und einer Qualitätskontrolle unterzogen werden.