gms | German Medical Science

Hintergrund: „Objective structured clinical examinations“ (OSCEs) sind mittlerweile ein etabliertes Prüfungsformat an deutschen medizinischen Fakultäten. Üblicherweise dienen sie zur summativen Bewertung. Aufgrund des personellen und logistischen Aufwands werden formative OSCEs hingegen nur selten eingesetzt.

An der Medizinischen Fakultät Heidelberg findet im 4. Fachsemester ein formativer OSCE Allgemeinmedizin statt, in dem Studierende (Peer-Tutoren) als Prüfer eingesetzt werden. Der OSCE besteht aus vier Stationen. Zwei Stationen („Vollständige Anamnese“ und „venöse Blutentnahme“) werden von allen Studierenden durchlaufen, die beiden anderen Stationen werden aus neun klinischen Untersuchungsstationen (z. B. Pulsstatus, Lunge usw.) zugewiesen. Bei einem Teil der Stationen erfolgte zur Qualitätssicherung eine zusätzliche Bewertung durch 5 Dozierende.

Ziel: Die teststatistischen Gütekriterien des formativen OSCE Allgemeinmedizin (Schwierigkeit, Trennschärfe, Messzuverlässigkeit) werden untersucht und mit denen sechs summativer OSCES anderer Fächer der Fakultät verglichen. Dabei erfolgt zusätzlich eine Analyse des Prüfereinflusses auf die Bewertung.

Methode: Betrachtet wurde der OSCE Allgemeinmedizin 2018, an dem 300 Studierende des 4. Fachsemesters mit 32 studentischen Prüfern teilnahmen (300x4=1200 Bewertungen). Schwierigkeit und Trennschärfe der Stationen werden denen anderer summativer OSCEs der Medizinischen Fakultät Heidelberg gegenübergestellt. Zur Beurteilung der Messzuverlässigkeit und der Größe des Prüfereffekts wird eine Analyse der Daten mittels der Generalisierbarkeitstheorie durchgeführt.

Bei 135 Bewertungen erfolgte eine Zweitbewertungen durch 5 Dozierende. Diese wurden hinsichtlich vergebener Punktzahl und ihrer Korrelation mit denen der studentischen Prüfer analysiert.

Ergebnisse: Die Stationen des formativen OSCEs sind geringfügig leichter (P=0,89) als die der summativen Vergleichs-OSCEs (P=0.845–0.902). Die Messzuverlässigkeit (Generalisierbarkeitskoeffizient) des 4-Stationen-OSCE betrug 0.644, bei Berücksichtigung der Stationszahl zeigt sich jedoch kein Unterschied zwischen dem OSCE Allgemeinmedizin und denen anderen Fächer. Der Vergleich der Bewertungen durch studentische Prüfer und Dozierenden ergab keine signifikanten Unterschiede. Die Korrelationen zwischen Dozierenden und studentischen Prüfern lagen im Bereich von 0.783 bis 0.986.

Fazit: Der formative OSCE Allgemeinmedizin ist hinsichtlich seiner Qualitätskriterien vergleichbar mit denen summativer OSCEs. Das Ausmaß des Prüfereinflusses war im Mittel sogar geringfügig geringer als bei diesen. Die Messzuverlässigkeit ist bei einem OSCE mit nur vier Stationen erwartungsgemäß noch nicht befriedigend.

Um in der Lehre formative OSCEs praktisch durchzuführen, können zur Überwindung des Mangels an personellen Ressourcen studentische Prüfer eingesetzt werden. Diese stellen bei adäquater Vorbereitung eine qualitativ gleichwertige Alternative zu Dozierenden als Prüfer dar.