gms | German Medical Science

Leserbrief: OSCEE (Objective Structured Clinical Examination/Exercise)-Training [1]: Wichtigkeit - Richtigkeit - Sinn?

Der Ausbildungsteil MuSkel-Kurs sollte auf seine Trainierbarkeit für ein Prüfungsziel untersucht werden. In der Kontrollgruppe mit 187 Studierenden des vorausgehenden MuSkel-Kurses 2 wurden zwei Fallgeschichten bearbeitet. In der Trainingsgruppe mit 232 Studierenden des MuSkel-Kurses 4 wurden zwei Übungsabläufe durchgeführt. Dabei führten die Studierenden im ersten Durchlauf in der Rolle des Arztes unter den zeitlichen Bedingungen der späteren OSCEE-Prüfung Anamnese und Untersuchung durch. Tutoren korrigierten während des Ablaufes. In der zweiten Trainingseinheit wechselten die Rollen: Studierende, welche zuvor die Patientenrolle eingenommen hatten, übten jetzt die Arztrolle aus.

Beurteilt wurden durch den Tutor: Wichtige Punkte von Anamnese und Untersuchung,

Gesamtanamnese, Gesamtuntersuchung, Verhalten.

In einem anschließenden schriftlichen Testat sollten die Studierenden wichtige Elemente aus den Abläufen Anamnese, Untersuchung, Diagnosen, Vorgehen benennen.

Die Lösungen wurden teils progressiv bepunktet, teils mit Plus-Minus-Punkten bewertet.

Aus den mit SPSS ausgewerteten Punktsummen schlussfolgern die Autoren:

Studierende erkennen infolge eines Trainings die wichtigsten Kriterien in Anamnese und Untersuchung und der Arzt-Patienten-Interaktion besser und stellen häufiger die richtige Diagnose. Eine klare Überlegenheit des Trainings konstatieren die Autoren nicht.

Kritische Wertung der Studie:

Verglichen werden verschiedene Semester, so dass Unterschiede vertikal und selektiv entstanden sein können. Die Autoren verzichteten auf die Auslosung einer Kontrollgruppe aus dem Jahrgang des MuSkel 4-Kurses. Training oder Experimentalgruppe umfasst den Inhalt: Übendes Rollenspiel. Die Beurteilung der Kontrollgruppe bleibt teilweise unklar:

Nahmen Sie an den Fallübungen ein zweites Mal teil? Dafür spricht die Tabelle 1, welche die Beurteilung durch den Tutor für Prüf- und Kontrollgruppe gegenüberstellt und statistisch vergleicht? Inwieweit wurde bei diesem Ablauf das Üben verhindert, wie es die Prüfgruppe vollzogen hat?

Die Überlegenheit der Übungsgruppe wird im Fragenteil sichtbar. Wurde damit Wissen aus der Übung mit Wissen aus der vorjährigen Kurs verglichen?

Die Skalen für die Beurteilung unterscheiden sich in der absoluten Punktzahl. Die Autoren vergleichen die Rohpunkte ohne eine Normierung der Skalen vorgenommen zu haben. Die Bepunktungsregeln der einzelnen Skalen waren uneinheitlich: "die wichtigste Untersuchung wurde doppelt gewertet" (Frage 2), "jede richtige Antwort ergab einen Punkt" (Frage 3), "sinnvolle Vorhaben ergaben einen Pluspunkt, unsinnige Vorhaben einen Minuspunkt" (Frage 4). Erkennbar wurden nichtlineare Wertungen verglichen. Dabei kann der statistische Vergleich eher Unterschiede ergeben, als bei linearen oder partiell linearen Skalen wie sie für Benotungssysteme verwendet werden. Eine Begründung, dass durch die Gewichtung von Items die Linearität der zu vergleichenden Abbildungen verbessert worden ist, erfolgt nicht. Wichtigkeit, Richtigkeit und Sinn erwachsen dem Ermessen des Beurteilers.

Das Prüfungsinstrument OSCEE wird werbend als „starkes Lehrwerkzeug" attributiert: "The important part of the OSCEE at SPUH is that each station has instant feedback by the faculty, making it a powerful teaching tool. " (siehe Homepage des St. Peter's Hospital New Brunswick, New Jersey 2005 [2]) Testeigenschaften, wie Power sind nicht publiziert. Bei der Umsetzung der neuen Approbationsordnung wird Koops Beitrag bei Beschlüssen zitiert werden, ohne dass die Arbeit abschließend die Wertigkeit des Instrumentes einordnet. Da verblindete Kontrollgruppen für eine bewertete Prüfung nach Koops voraussichtlich nur geringe Unterschiede zur Interventionsgruppe erwarten lassen, erscheint mir die Reproduktion der Studie mit Randomisierung der Teilnehmer vertretbar: Studenten würden keinen absehbar schweren Nachteil durch die Zuordnung zur Kontrollgruppe erleiden. Alternativ könnten über eine Stichprobenmethode Bewertungen der OSCEE verschiedener Universitäten als Vergleichsgruppe für eine Interventionsgruppe herangezogen werden. Prüfungsinstrumente sollen unabhängig vom Prüfer sein. OSCEE ist zeitaufwendig infolge der individuellen von Prüfern begleiteten Durchführung. Die Prüfungsmethode muss daher ihre Aussagekraft unter Beweis stellen. Fallsimulation und Bedside-Teaching haben Bedeutung für die Vermittlung ärztlicher Fertigkeiten. Eignen sie sich umgekehrt als objektives Prüfungsverfahren?