gms | German Medical Science

Seit der Einführung durch Harden 1975 [1] hat sich die Objective Structured Clinical Examination (OSCE) zur Prüfung von klinischen Fähigkeiten und Fertigkeiten in der Ausbildung von Medizinstudierenden etabliert. Wir prüfen Medizinstudentinnen und Medizinstudenten nach ihrem Blockpraktikum Allgemeinmedizin im 2. Klinischen Jahr mit einer summativen OSCE-Prüfung. Mit geschulten Simulationspatienten (SP) wird bei einer OSCE-Prüfung, jede/r Studierende in standardisiert dargestellten klinischen Situationen geprüft [2], [3]. Die Objektivität von Prüfungen klinischer Kompetenz (Kriterien für Objektivität: Validität, Reliabilität, Effizienz, Transparenz) ist allerdings häufig beeinträchtigt durch Schwächen bei Planung und Durchführung der Prüfungen [4], [5], [6], [7]. Auch das Weitergeben von prüfungsrelevanten Informationen durch Studierende während einer OSCE-Prüfung stellt eine Beeinträchtigung von deren Fairness und Objektivität dar [8], [9], [10]. Fairness einer Prüfung bedeutet, dass Beurteilungen frei von Voreingenommenheit erfolgen und niemanden benachteiligen. Sie erfordert die Einhaltung übereinstimmender Regeln und Standards für alle Studierenden [11].

Wir nehmen an, dass der Austausch detaillierter Informationen zu Inhalten der OSCE-Stationen während der Prüfung ein Grund für Beobachtungen ist, die wir in den letzten Jahren gemacht hatten: Zur Prüfung der gesamten Jahrgangskohorte der Studierenden im 2. Klinischen Jahr benötigen wir 3 Tage. In diesem Zeitraum konnten wir beobachten, dass Studierende, die die Prüfung erst nach der ersten Prüfungsgruppe antraten, die Aufgaben an den OSCE-Stationen zunehmend hastiger und weniger nachvollziehbar absolvierten. Sie zogen Schlüsse, die nicht auf Informationen beruhten, die sie während der Interaktion mit der Simulationspatientin/ dem Simulationspatienten herausgearbeitet hatten. Sie kamen zum Beispiel zu einer Diagnose oder zu einer Therapieentscheidung, ohne eine ausreichende körperliche Untersuchung oder die Anamnese abgeschlossen zu haben. Da heutzutage jeder Student über “Kommunikative Fähigkeiten” mittels elektronischer Medien verfügt, ist es einfacher, Informationen zum Prüfungsinhalt zeitnah auszutauschen [12], [13]. Wir identifizierten Internetblogs von Medizinstudierenden, die ihre OSCE-Prüfung bereits absolviert hatten, in denen Hinweise für nachfolgende Prüflinge enthalten waren. Auch bemerkten wir, dass Studierende fallspezifische Informationen während der laufenden Prüfung benutzten. Auch wenn mehrere Studien zeigen konnten, dass diese Art von Fehlverhalten die Prüfungsergebnisse nicht notwendigerweise relevant beeinflusst [9], [10], [14], [15], nehmen wir an, dass diese Informationen einen negativen Effekt auf die Prüfungsleistung der Studierenden haben.

Darum entwickelten wir eine Multiple Scenario-OSCE-Prüfung (MS-OSCE), bei der alle Studierenden den immer gleichbleibenden Beratungsanlass einer Station managen müssen, jedoch mit wechselnden zugrundeliegenden Szenarien (d.h. Ursachen). Multiple Szenarien bei gleichem Beratungsanlass sollen dafür sorgen, dass alle Studierenden eine gründliche Anamnese und eine adäquate Untersuchung ausführen, trotz Informationen zur Prüfung von Studierenden, die die MS-OSCE-Prüfung vorher absolviert hatten. Das Verändern einer OSCE-Station im Verlauf einer Prüfung scheint nicht unüblich zu sein, doch wurde darüber bisher nur wenig publiziert; wohingegen der Effekt von wechselnden Prüfer/innen während einer OSCE-Prüfung gut dokumentiert ist [16].

Das Ziel unserer Untersuchung war es, zu prüfen, ob Objektivität und Fairness der MS-OSCE-Prüfung angenommen werden dürfen, auch wenn nicht alle Studierenden mit dem identischen Szenario eines Beratungsanlasses geprüft wurden.

Unsere Hypothese lautet, dass die Notengebung für die Prüfungsleistung der Studierenden nicht unfair beeinflusst wird, wenn das Management eines Beratungsanlasses mittels multipler Szenarien getestet wird.

Dies ist eine Beobachtungsstudie zur Implementierung des MS-OSCE Konzepts. Die Prüfung war Teil der Benotung des Blockpraktikums Allgemeinmedizin von 169 Studierenden im 2. Klinischen Jahr. (58% weiblich, Median Alter: 26 Jahre (22-37 Jahre) [17]. Zwei Studierende des Jahrgangs traten die Prüfung wegen Krankheit nicht an.

In Übereinstimmung mit dem Lernzielkatalog des Faches Allgemeinmedizin erstellten wir einen OSCE-Blueprint und entwickelten daraus fünf OSCE-Stationen, von denen jede einen anderen Beratungsanlass abprüfte mit jeweils 2-3 zugrundeliegenden Szenarien pro Beratungsanlass. Die Beratungsanlässe wurden 4 Wochen vor der OSCE-Prüfung auf der Website der Abteilung Allgemeinmedizin bekanntgegeben, um den Studierenden eine Vorbereitung auf die Prüfung zu ermöglichen. Die Beratungsanlässe lauteten: „Brustschmerz“, „Bauchschmerz“, „Rückenschmerz“, „Müdigkeit“ und „akuter Husten“. Für das Management der genannten Beratungsanlässe, außer für „Bauchschmerz“, existieren nationale Leitlinien. Die Synopse der Beratungsanlässe mit den entsprechend zugeordneten Szenarien ist in Tabelle 1 [Tab. 1] dargestellt. Die Pilotierung der Brustschmerzstation erfolgte bereits für die OSCE-Prüfung des Vorjahres. Die übrigen OSCE-Stationen wurden mit Hilfe freiwilliger Studierender pilotiert.

Die Szenarien für jeden Beratungsanlass wurden standardisiert erstellt. Als Simulationspatienten/Simulationspatientinnen (SP) wurden Studierende einer Theaterakademie und Laienschauspieler/innen rekrutiert. Die SPs wurden instruiert, ihre Simulation immer mit einem festgelegten Eingangssatz zu beginnen und erhielten ein detailliertes Skript, in dem jedes Szenario eines Beratungsanlasses mit standardisierten Regieanweisungen beschrieben wurde (siehe Tabelle 1 [Tab. 1]). Die einzelnen Szenarien wurden dann mit Medizinstudierenden ab dem dritten klinischen Jahr und Ärzten in Weiterbildung eingeübt. Für die Szenarien der „Brustschmerz“-Station wurden ältere SPs eingesetzt, um eine möglichst realistische Darstellung des in Frage kommenden akuten Koronarsyndroms zu gewährleisten. Diese älteren SPs hatten bereits im vorangehenden Jahr das Training für die Darstellung eines akuten Koronarsyndroms erhalten und wurden nun zusätzlich für die weiteren Szenarien der „Brustschmerz“-Station (costosternales Syndrom und gastroösophagealer Reflux) trainiert. An der „Bauchschmerz“-Station wurden ausschließlich männliche SPs eingesetzt, um gynäkologische Differentialdiagnosen auszublenden. Jede/r SP erhielt ein 4-stündiges Training inclusive einer Probe mit Supervision durch eine/n Lehrbeauftragten.

Die Prüfer/innen waren Allgemeinärztinnen und Allgemeinärzte des Lehrärztenetzwerks der Abteilung für Allgemeinmedizin. Die meisten von ihnen sind bereits seit Jahren als Prüfer/innen in OSCE-Prüfungen tätig gewesen. Alle Prüfer/innen erhielten eine 15-30 minütige Einführung in die neuen Prinzipien der MS-OSCE-Prüfung bevor sie die erste Bewertung abgaben. Die Checkliste eines jeden Beratungsanlasses war für die ihm zugrundeliegenden Szenarien identisch. Die Szenarien wurden vor Beginn der Prüfung mit den SP nochmals durchgesprochen. Jede Station war mit einem Prüfer/in besetzt. Im Laufe der 3 Prüfungstage wurden 23 Prüfer/innen tätig. 2 Prüfer/innen wechselten durch alle Stationen, wohingegen die meisten Prüfer/innen nur an 1 oder 2 Stationen eingesetzt waren.

Die Studierenden konnten sich elektronisch für einen Prüfungstag und den Prüfzeitraum einschreiben. Sie wurden einer der beiden Prüfungsgruppen zu je 5 Stationen zugeteilt. Beide Prüfungsgruppen zirkulierten simultan von Station 1 bis Station 5 in einem Flur mit 10 getrennten Räumen (2 x Stationen 1-5). Bevor eine Studentin/ein Student den Raum einer Station betrat, wählte die/der Prüfer/in das zu simulierende Szenario nach Zufall aus. Die Studierenden hatten 10 Minuten Zeit, die Aufgabenstellung einer Station zu lösen und wechselten danach alle gleichzeitig die Station in einer festgelegten Zeit. Jede/r Studierende benötigte 60 Minuten für die komplette MS-OSCE Prüfung.

Die Approbationsordnung in Deutschland verlangt eine Notenvergabe auf einer Ordinalskala von 1 bis 5 (sehr gut (1), gut (2), befriedigend (3), ausreichend (4) und mangelhaft (5)). Dieses Benotungssystem wird in deutschen Schulen in ähnlicher Weise benutzt und ist allen Prüfern vertraut [https://www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html]. Wir prüften die Fertigkeiten der Studentinnen und Studenten mit einer Checkliste (checklist rating (CR)), die sowohl binäre Items (z.B. Studierende/r fragt nach Nikotinkonsum: ja/nein) als auch Likert Skalen (z.B. Qualität einer ausgeführten Student/in – Patient/in – Interaktion) beinhaltete. Die Items der Checkliste einer Station erfassten für jedes Szenario eines Beratungsanlasses die gleichen Untersuchungserfordernisse. Die kommunikative Kompetenz wurde mit dem Berliner Global Rating Instrument (BGR) [18] bewertet, einer Globalbewertungsskala [19], [20], basierend auf der von Hodges eingeführten Beurteilungsskala [21], die für deutsche Prüfungserfordernisse angepasst und validiert wurde. Abschließend wurde eine intuitive globale Gesamtbeurteilung (overall global rating (OGR)) [22] für die Gesamtleistung der/des Studierenden an seiner Station abgegeben. Diese wird benötigt, um CR und BGR auf Aspekte hin abzugleichen, die von Checklisten nicht erfasst werden. Die Gesamtnote an jeder Station wurde errechnet als der Durchschnitt aus CR, BGR und OGR. Items, die von mehr als 90% oder weniger als 10% der Studierenden erfüllt wurden, wurden post hoc von der Checkliste gestrichen. Entsprechend der Studienordnung der Universität Greifswald wurde eine Bestehensgrenze von 60% der maximalen erreichbaren Punktzahl im Voraus festgelegt.

Wir zeigen die Noten einer Station über alle Szenarien als Box-Plots mit Mittelwert, Median, Interquartilenabstand und Ausreißern (siehe Abbildung 1 [Abb. 1]). Die interne Konsistenz der OSCE-Prüfung wurde mittels Cronbach’s Alpha, basierend auf den Noten an jeder Station berechnet.

Wir berechneten Intraclass-Korrelationskoeffizienten (ICC), um den Anteil der Notenvarianz auszudrücken, der auf Szenarien oder Prüfer/innen zurückzuführen war. Idealerweise sollte dieser Anteil nahe Null sein. Dazu berechneten wir für jede Station getrennt lineare Regressionsmodelle und nutzten wegen der Abweichung der Residuen eine Bootstrap-Verfahren zur Varianzabschätzung, weil keine Normalverteilung vorlag. Wir verwendeten zwei Prädiktorensets:

1.

ein Set mit dummy-Kodierung für Szenarien und Prüfer/innen (siehe Tabelle 2 [Tab. 2]);

2.

ein Set mit dem vorgenannten Modell plus der Durchschnittsnote aller Stationen außer der betrachteten Station (siehe Tabelle 3 [Tab. 3]).

Die Noten wurden verwendet, um den Einfluss der Leistungen der Studierenden an allen übrigen Stationen außer der Bezugsstation zu berücksichtigen. Berechnungen wurden mit dem xtreg Befehl in Stata unter Anwendung eines fixed-effects Schätzers ausgeführt. Es gab keine fehlenden Daten für die untersuchten Variablen.

Die Analysen wurden in Stata 13 ausgeführt (Stata Corp., College Station, TX)

Stationen und Prüfer/innen waren ebenso wie die Szenarien statistisch voneinander unabhängig (siehe Anhang 1 [Anh. 1] und Anhang 2 [Anh. 2]) Die Interne Konsistenz der OSCE-Prüfung über die 5 Notenstufen für die Stationen war gemäß Cronbach’s alpha 0,65 (CI_{90 one sided} 0,59).

Abbildung 1 [Abb. 1] zeigt die Verteilung der Noten getrennt für jedes Szenario innerhalb jeder der fünf Stationen sowie die Verteilung der resultierenden Gesamtnoten pro Station.

Die Gesamtnoten der Stationen lagen durchschnittlich zwischen 2,16 und 2,28. Die Differenz der Durchschnittsnoten der Szenarien einer Station betrug zwischen 0,03 bis 0,40 (siehe Tabelle 2 [Tab. 2] und Tabelle 3 [Tab. 3]). Den größten Unterschied zwischen den Durchschnittsnoten der Szenarien einer Station beobachteten wir an der Station mit dem Beratungsanlass „Brustschmerz“. Hier hatte das lebensbedrohliche Szenario akutes Koronarsyndrom (ACS) eine um 0,4 schlechtere Durchschnittsnote gegenüber dem Szenario gastrointestinaler Reflux. An der Station mit dem Beratungsanlass „Bauchschmerz“ wurde eine um 0,3 schlechtere Durchschnittsnote bei Szenario Appendizitis gegenüber dem Szenario Gastroenteritis beobachtet. Die Gesamtnoten für die Beratungsanlässe (Stationen) lagen im Bereich von 1 bis 5.

Die Einflüsse von Szenarien und Prüferinen/Prüfern auf die Noten an jeder Station werden als ICCs berechnet und sind in Tabelle 2 [Tab. 2] und Tabelle 3 [Tab. 3] dargestellt. In Tabelle 2 [Tab. 2] zeigen wir die ICCs ohne Berücksichtigung (Adjustierung) der studentischen Fähigkeiten an den übrigen OSCE-Stationen und in Tabelle 3 [Tab. 3] die ICCs bei Berücksichtigung (Adjustierung) der Fähigkeit der Studierenden an den übrigen Stationen. Der Einfluss der Szenarien auf die Gesamtnoten der entsprechenden Stationen betrug 5,2% bis 7,8%, wenn keine Berücksichtigung der Durchschnittsnoten der Studierenden an den übrigen Stationen erfolgte. Bei Berücksichtigung der Fertigkeiten der Studierenden an den übrigen Stationen betrug der Einfluss der Szenarien 4,2% bis 9,2%. Bei Betrachtung der größten Differenz zwischen den Durchschnittsnoten der Szenarien einer Station konnte der größte Einfluss eines Szenarios auf die Gesamtnote an der Station mit dem Beratungsanlass „Brustschmerz“ festgestellt werden.

Die Anzahl der Prüfer/innen an jeder Station bewegte sich zwischen 6 und 10 über die drei Prüfungstage. Der nicht adjustierte Einfluss der Prüfer/innen auf die Gesamtnoten an einer Station schwankte zwischen 14,1% und 39,8% ohne Berücksichtigung der Durchschnittsnoten der Studierenden an den übrigen Stationen. Er betrug zwischen 20,5% und 50,3%, wenn die studentischen Fähigkeiten an den übrigen Stationen berücksichtigt wurden (Adjustierung). Der größte Prüfereffekt wurde an der Station mit dem Beratungsanlass „Bauchschmerz“ gesehen.

Insgesamt nahmen 169 Studierende im 2. klinischen Jahr und 23 Prüferinnen und Prüfer an der MS-OSCE teil. Die Differenz der Durchschnittsnoten der Szenarien eines Beratungsanlasses (Station) betrug 0,03 bis 0.4 auf einer Notenskala von 1-5. Der Einfluss der Szenarien einer Station auf deren Gesamtbenotung erklärte 4% bis 9% der Notenschwankungen. Bei Berücksichtigung der studentischen Fähigkeiten an den übrigen Stationen war der Einfluss der Prüferinnen und Prüfer an einer Station für 20% bis 50% der Gesamtbenotungsschwankungen der Station verantwortlich.

Wir beobachteten Notenunterschiede von 0,03 bis 0,4 zwischen den Szenarien der gleichen Station auf einer Notenscala von 1-5 (siehe Abbildung 1 [Abb. 1]). Auch wenn die Checklist-Items für jedes Szenario eines Beratungsanlasses die gleiche Vorgehensroutine abdeckten, sollten die Bewertungen eigentlich nicht von der Gefährlichkeit der zugrundeliegenden Diagnose beeinflusst worden sein, da wir verlangten, dass die Studierenden alle Möglichkeiten in Erwägung zogen. Wurde die Diagnose eines potentiell lebensgefährlichen Szenarios verpasst oder dessen Management misslang, scheint das zu einer schlechteren Benotung geführt zu haben. Das war der Fall, wenn ein akutes Koronarsyndrom, eine Appendizitis oder eine Pneumonie vorlag, während ähnliche Fehler bei einem eher gutartigen Szenario wie costosternalem Syndrom, Gastroenteritis oder Bronchitis nicht mit einer schlechteren Benotung einherging.

Es besteht kein Konsens darüber, ab wann eine Notendifferenz als bedeutsam für die Objektivität einer Prüfung gewertet werden soll. Wir schätzen die Bedeutung der beobachteten Notendifferenzen als eher gering bis moderat ein. Verglichen mit dem Ausmaß des Einflusses verschiedener Prüfer/innen auf die Noten einer Station erscheint der Effekt unterschiedlicher Szenarien klein aber noch relevant zu sein. Der Einfluss der Prüfer/innen auf die Noten der Studierenden war unabhängig von den Szenarien und von den Fähigkeiten der Studierenden. Aber der Unterschied in der Durchschnittsnote zwischen dem nachsichtigstem und dem strengsten Prüfer lag bei über 1 Notenstufe auf der 5-teiligen Notenskala, was eine schlechte Inter-Rater-Reliabilität (Zuverlässigkeit der Einschätzung durch verschiedene Prüfer/innen an der gleichen Station) wahrscheinlich macht. Daher scheint eine Prüfer/innenschulung (Vermittlung einheitlicher Bewertungskriterien für ein beobachtetes Verhalten) weitaus bedeutender zu sein als eine Anpassung der unterschiedlichen Schwierigkeiten der Szenarien. Wilkinson et al. [23] zeigten, „dass Prüferfaktoren substantiell stärker zur Objektivität einer OSCE-Prüfung beitragen, als es Bewertungsbögen oder Checklisten tun“. Über Inter-Rater-Reliabilität bei OSCE-Prüfungen wurde nur wenig veröffentlicht und sie variiert je nach OSCE-Aufbau, eingesetzten Prüfungsinstrumenten (global rating/ checklist rating) und den Prüfungsbedingungen (direkte Beobachtung der Prüfungssituation/ Beobachtung eines Prüfungsvideos) [20], [24], [25]. Hatala et al. [26] pilotierten eine OSCE-Prüfung, bei der 2 Stationen in 3 aufeinanderfolgende Prüfungssequenzen zu 10 Minuten unterteilt wurden, wobei verschiedene Aspekte eines Problems in der Inneren Medizin abgedeckt wurden. Sie beobachteten eine Inter-Rater-Reliabilität zwischen 0,63 bis 0,91 bei 2 Prüfern für jedes Szenario. Brennan et al [16] berichten, dass, obwohl sich die Spanne der Notengebung änderte, wenn die Prüfer/innen an den OSCE-Stationen wechselten, die Reliabilität der Prüfung und die Ergebnisse der Prüflinge nicht beeinträchtigt wurden (die Gesamtzahl der Prüfer/innen an einer Station wird allerdings nicht mitgeteilt).

Wegen beschränkter finanzieller Ressourcen konnten wir - wie auch viele andere medizinische Fakultäten – es uns nicht leisten, jede OSCE mit zwei Prüfern gleichzeitig zu besetzen.

Intensiveres Training von Prüferinnen/Prüfern und SPs [4] sowie eine noch sorgfältigere Entwicklung von Checklisten sind mögliche Maßnahmen, um den Effekt von Prüferinnen/Prüfern auf die Notengebung zu reduzieren und so eine bessere Inter-Rater-Reliabilität zu erreichen. Die Annahme, dass ein intensiveres Prüfer/innen -Training die Inter-Rater-Reliabilität erhöht, kann nicht generalisiert werden [27], [28]. In welchem Maße Unfairness und Fehlen von Reliabilität akzeptabel sind und wie sehr sich der Einfluss der Prüfer/innen reduzieren lässt, wird noch diskutiert [29].

Wir nehmen nicht an, dass das MS-OSCE Prüfungsformat den Informationsaustausch unter Studierenden reduziert hat, aber wir nehmen an, dass der Wechsel zu MS-OSCE dazu geführt hat, dass Anamnese und klinische Untersuchung an den Stationen während der 3 Prüfungstage gründlicher und weniger hastig ausgeführt werden. Objektive Daten, um diese Annahme zu stützen, haben wir allerdings nicht.

Dies ist nach unserer Kenntnis der erste Bericht über eine Multiple Scenario-OSCE-Prüfung. Wir berechneten adjustiert für die Fähigkeiten der Studierenden den Einfluss von multiplen Szenarien und von Prüferinnen und Prüfern auf die Prüfungsnoten bei einer MS-OSCE-Prüfung. Aufgrund limitierter Ressourcen konnten wir keinen Inter-Rater-Korrelationen für die Checklisten ermitteln und nur ein minimales Prüfer/innentraining realisieren. Diese Situation dürfte bei den meisten Medizinischen Fakultäten, die studentische Fähigkeiten mit einer OSCE -prüfen, ähnlich sein. Zwischen der Bewertung mittels Checkliste und der Globalbewertung zeigte sich ein Korrelation von 0,6 bis 0,8, was für eine kongruente Bewertung von kommunikativen und klinischen Fertigkeiten spricht (Ergebnisse nicht dargestellt). Wir können nicht ausschließen, dass eine unterschiedliche Genauigkeit der Darstellung des gleichen Szenarios durch verschiedene SPs während der 3-tägigen Prüfung einen Einfluss auf die Bewertung hatte. Eine Adjustierung der SPs haben wir nicht durchgeführt. Auch Gender-Effekte, die einen Einfluss auf die Notengebung haben können, wurden von uns nicht berücksichtigt [29], [30], [31]. Weibliche und männliche SPs wechselten an einigen Stationen, was die Performance der Studierenden an der „Brustschmerz“-Station und der Station mit dem Beratungsanlass „akuter Husten“, an denen die Auskultation des Thorax als mögliche klinische Untersuchung in Frage kam, beeinflusst haben kann. Unsere MS-OSCE-Prüfung mit nur fünf Stationen für die Beurteilung einer/eines Studierenden ist relativ kurz da für eine reliable Prüfung mindestens 10 Stationen eingerichtet werden sollten [32], [33]. Zehn Minuten pro Station sind eine akzeptable Zeitspanne [34], [35] und sogar für Abschluss/Aufnahmeprüfungen mit höchsten Anforderungen werden nur 15 Minuten für eine interaktive Aufgabenstellung verlangt [36]. Wir haben eine gute interne Konsistenz (Cronbach’s alpha: 0,65) über alle Stationen, verglichen mit anderen Veröffentlichungen [32].

Auch wenn es möglich ist, nach der Prüfung die individuelle Note einer/eines Studierenden für Unterschiede innerhalb der Szenarien und Unterschiede zwischen den Prüfern mit einem Korrekturfaktor zu adjustieren, haben wir das nicht getan. Die Berechnung von Korrekturfaktoren nach jeder Prüfung würde Ressourcen erfordern, die uns derzeit nicht zur Verfügung stehen.

Die Untersuchung der Validität einer MS-OSCE-Prüfung ist nicht Gegenstand unserer Veröffentlichung. Van der Vleuten and Schuwirth [7] stellen fest, dass Schlüsselparameter für die Validität von Kompetenzeinschätzungen die Authentizität der gezeigten Leistung (Performance) und die Einbeziehung von professionellen Kompetenzen sind. Die MS-OSCE-Prüfung zielt auf die Authentizität der Performance der Studierenden ab, indem sie alternierend mehrere Szenarien für den Beratungsanlass einer Station anbietet, um so den Einfluss von weitergegebenen Informationen (Weitersagen) auf den Umgang mit der Aufgabenstellung der Studierenden zu reduzieren. Die Inhaltsvalidität der Prüfung wurde durch Reviewing aller MS-OSCE-Stationen durch ein Team erfahrener Lehrärztinnen und Lehrärzte angestrebt. Durch die Darstellung klinischer Szenarien mit SPs an jeder der fünf MS-OSCE-Stationen und durch den Einsatz standardisierter Checklisten und einem validierten Globalbewertungsinstrument sollte die Augenscheinvalidität der MS-OSCE der einer traditionellen OSCE mit 5 Stationen gleichen.

Der Einfluss verschiedener Szenarien auf die Examensnote für das Management eines Beratungsanlasses in der Allgemeinmedizin war gering im Vergleich zum Einfluss der Prüferinnen und Prüfer. Um Objektivität und Fairness einer OSCE-Prüfung zu gewährleisten ist es bedeutsamer, die Inter-Rater-Reliabilität zu verbessern, als alle Studierenden mit dem gleichen Szenario zu prüfen.

ACS: Akutes Koronarsyndrom (acute coronary syndrome)

BGR: Berliner Global Rating Instrument

CI: Konfidenzintervall (confidence interval)

CR: Checklistenprüfung (checklist rating)

OGR: globale Gesamtbeurteilung (overall global rating)

ICC: Intraclass-Korrelationskoeffizienten (intraclass correlation coefficient)

MS-OSCE: Multiple Scenario Objective Structured Clinical Examination

OSCE: Objective Structured Clinical Examination

SP: Simulationspatientin/Simulationspatient

Wir danken den Lehrärzten Francis Baudet, Gisela Greschniok, Heinz Hammermayer, Thomas Hannemann, Mathias Herberg, Gero Kärst, Andreas Krüger, Barbara Krüger, Annika Matz, Hans-Diether Seiboth, Thomas Richter, Claudia Runge, Carmina Spreemann, Antje Theurer, Renate Tilchner, Rüdiger Titze, Arne Wasmuth, Christine Wendt, Arno Wilfert.

Weitere Daten können in begründeten Fällen vom Korrespondenzautor zur Verfügung gestellt werden.

JS und JFC hatten die Idee zur MS-OSCE-Prüfung. Szenarien und Prüfungsmaterialien wurden entwickelt und pilotiert von JS, CR, GW, AA, FL, AH, JFC. CR, JS, FL und GW trainierten die Simulationspatientinnen und Simulationspatienten, AH war für die Datenverwaltung verantwortlich, COS führte die statistische Auswertung durch. JS und JFC schrieben den Textentwurf, der von allen Autoren geprüft und freigegeben wurde.

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.