gms | German Medical Science

OSCE-Prüfungen (objective structured clinical examination) haben in der medizinischen Ausbildung in Deutschland in den letzten Jahren weite Verbreitung gefunden [1]. Sie sind geeignet, praktische Fertigkeiten der Studierenden zu prüfen [2], [3], [4]. Mithilfe einer OSCE-Prüfung konnte an der Philipps-Universität in Marburg nachgewiesen werden, dass praktische Basisfertigkeiten bei der körperlichen Untersuchung durch einen strukturierten praktischen Unterricht verbessert werden konnten [5]. Die Fähigkeit zur zielgerichteten Untersuchung, die im Laufe des Studiums entwickelt werden muss, ist jedoch weitaus komplexer: die Untersuchungsdurchführung ist von einem kritisch-analytischen Denken auf der Basis eines breiten Wissens über Erkrankungen und diagnostische Kriterien begleitet. Auch die Arzt-Patienten-Interaktion wird komplexer, wenn es sich nicht um fragmentierte Aufgaben für die Studierenden in einer Prüfung handelt. Im Studium werden Entscheidungsfindungen immer wieder thematisiert und in klinischen Praktika diskutiert. Explizit ist dies insbesondere in der integrierten Vorlesung des 3. klinischen Studienjahres sowie im Seminar Allgemeinmedizin, das begleitend zum entsprechenden Blockpraktikum stattfindet, der Fall. Aus diesem Grund wurde eine fachübergreifende Prüfung im Marburger Curriculum etabliert, die verschiedene ärztliche Kompetenzen formativ prüft, der OSCE-„Entscheidungsfindung“. Im Rahmen zweier Dissertationen (Neuhof D, Wiechens H, s.a.) wurden, in Zusammenarbeit mit der Abteilung für Allgemeinmedizin und dem Lernzentrum, das dem Studiendekanat untersteht, Fallvignetten, Rollenskripte und Beurteilungskriterien entwickelt, erprobt und als geeignet identifiziert. Bei der Auswahl der Fallvignetten, die an den jeweiligen Stationen bearbeitet werden sollen, war vor allem die Häufigkeit und Relevanz verschiedener Konsultationsanlässe in der Primärversorgung entscheidend. Zugleich sollte ein breites Spektrum praktischer Basisfertigkeiten im Rahmen der Fallvignetten geprüft werden können. So wurde auf deren Übereinstimmung mit den praktischen Fertigkeiten im Curriculum des Fachbereichs sowie mit denen des Nationalen Kompetenzbasierten Lernzielkatalogs für die Medizin (NKLM) [6] geachtet. Angelegt als Disziplin-übergreifende Prüfung in einem allgemeinmedizinischen Setting, konnten nach und nach immer mehr klinische Fächer für die Beteiligung am OSCE-„Entscheidungsfindung“ gewonnen werden.

Aus dem so entstandenen Pool von über 40 Stationen durchläuft – nach dem Zufallsprinzip – jeder Studierende im 3. klinischen Studienjahr im Anschluss an das Blockpraktikum Allgemeinmedizin drei Stationen á 20 Minuten. In den ersten 15 Minuten interagieren „Arzt“ (Studierende/r) und „Patient“ (Simulationspatient/in, „SP“), in den letzten fünf Minuten werden die Differentialdiagnosen und abwendbar gefährlichen Verläufe (AgV) besprochen. Auch geben die Prüfenden ein Feedback zum Vorgehen, Verhalten und den klinischen Schlussfolgerungen der Studierenden. Die Simulationspatienten beurteilen während der letzten 5 Minuten einer Station auf der Grundlage einer Checkliste das Verhalten der Prüflinge in Bezug auf ihr Auftreten, die gezeigte Empathie und die Informationsvermittlung in der Interaktion jeweils mit einer Globalnote. Im Nachgang zur Prüfung können die Studierenden sowohl ihre Bewertung durch die Prüfenden als auch die Bewertung der Interaktion schriftlich, in Form von Schulnoten von 1 (sehr gut) bis 5 (ungenügend) erhalten; die Prüfung geht jedoch in keine Note ein. Sowohl die Prüfer als auch die Simulationspatienten sind hinsichtlich der Beurteilung unterwiesen und größtenteils immer wieder beteiligt. Als Feedback an die Prüfer wurden die Studierenden am Ende um Kommentierung des Prüfungsformates in Form freier Texte gebeten.

Eine Prüfung, die die Beherrschung der zuvor in einer bestimmten Lehrveranstaltung vermittelten praktischen Fertigkeiten überprüft, steuert das Lernverhalten der Studierenden und führt dazu, dass Studierende praktisch üben und berufstypische, praxisorientierte Kompetenzen erwerben [5]. Die Prüfung komplexer Entscheidungsfindung, in die aus dem gesamten Studium Lerngegenstände eingehen, kann – als einmaliges Ereignis im Studium – diese lernsteuernde Funktion nicht erfüllen, da eine gezielte Vorbereitung darauf nicht möglich ist. Auch deshalb wurde der OSCE-„Entscheidungsfindung“ als formative Prüfung eingeführt, ohne die Gefahr des Durchfallens. Damit entfällt eine sonst maßgebliche Prüfungsfunktion, die Selektion. Umso mehr soll diese Prüfung eine Feedbackfunktion erfüllen, zumal auch die entsprechend geschulten SPs ein zusätzliches Feedback geben. Zwischen Januar 2012 und März 2013 wurden 937 Freitextantworten (Stichworte, Aufzählungen, ganze Sätze) von 272 Teilnehmern aus 11 OSCE-Prüfungen ausgewertet. Über zwei Drittel aller Aussagen (70,43%) konnten als positives Feedback kategorisiert werden. Besonders hervorzuheben waren weitere 1,28% der Aussagen, die sich auf das Prüfungsformat als Lernchance bezogen: „Solche Prüfungen bringen sehr viel für den Selbstlernprozess! Was leider auch deutlich wird, ist das Problem des theoretischen Studiums. Man muss viel mehr in Differentialdiagnosen denken, dafür sind solche Prüfungen super und sollten häufiger durchgeführt werden“. Dass die Prüfung für die Studierenden eine sehr gute Feedbackfunktion erfüllt, konnte anhand der Freitextevaluation nachgewiesen werden [7]. Welches Feedback jedoch generiert das Prüfungsformat für die beteiligten Fächer? Lassen sich spezifische Stärken und Schwächen der Ausbildung als Ganzes und in den klinischen Fachrichtungen durch die Leistungen der Studierenden im OSCE-„Entscheidungsfindung“ erkennen?

Jeder Parcours besteht aus einer Anzahl von minimal sechs und maximal zehn Stationen für 14 bis 30 Studierende, die an einem Termin geprüft werden. Jede/r Studierende durchläuft drei Stationen in gut ausgestatteten Simulationsräumen (Hausbesuchs-Szenarien und Praxisräume), z.T. werden Simulatoren zusätzlich zu trainierten SP eingesetzt. Jede Station wird von 6 bis 9 Studierenden durchlaufen. Die Studierenden werden zu Beginn des Blockpraktikums Allgemeinmedizin über die fachübergreifende formative Prüfung ganz allgemein und über die Details und den Ablauf direkt vor der Prüfung informiert. Durch das zum Zeitpunkt der Prüfung gerade abgeschlossene Blockpraktikum in der Hausarztpraxis sind sie auf das Setting, in dem die Fälle allokiert sind, vorbereitet. Anders als im OSCE des ersten klinischen Jahres, in dem ein Standardvorgehen bei den Untersuchungstechniken entwickelt wurde, gibt es jedoch in den ausgewählten Situationen in aller Regel verschiedene Möglichkeiten zum Ziel zu kommen. Eine Reihe von Anamnesefragen, körperlichen Untersuchungen und anderen diagnostischen Maßnahmen sind zwar entsprechend den Leitlinien aus dem primärärztlichen Bereich sowie Expertenmeinung bei dem vorgegebenen Setting als Standard notwendig, doch manche/r Studierende hat schneller eine zielführende Verdachtsdiagnose im Kopf und fragt deshalb in eine bestimmte Richtung oder untersucht zielgerichteter als andere, die dennoch genauso gut zu einem Ergebnis kommen. Manche Untersuchungsschritte sind möglich, aber nicht immer zwingend notwendig. „Suchbewegungen“ im Abklären von Differentialdiagnosen gehören dazu. Dies ist von Bedeutung, wenn es um die Beurteilungskriterien geht. Eine Item-Checkliste, wie sie bei OSCE-Prüfungen für praktische Fertigkeiten häufig verwendet wird, wird dieser Varianz nicht gerecht, darum stehen auf dem Beurteilungsbogen für den Fall relevante Stichpunkte, die den Ausschluss von Differentialdiagnosen aufgrund klinischen Schlussfolgerns umfassen. Jedoch wurden für einzelne Schritte der Interaktion und für die differenzialdiagnostischen Überlegungen im Laufe des Entwicklungsprozesses fünf gleichbleibende Beurteilungskriterien festgelegt und für diese, mit ihren fallspezifisch assoziierten „Stichpunkten“, Globalnoten eingeführt. Für die Noten 1, 3 und 5 werden Anforderungen beschrieben, die Noten 2 und 4 stehen zur weiteren Differenzierung zur Verfügung. Beurteilt werden (z.T. wörtlich übernommen) [7]:

1.

Die Anamneseerhebung. Zur Vermeidung der Definition von Einzelfragen werden zu jedem Fall Fragen-Kategorien gebildet. „Schmerz“ z.B. umfasst vollständig alle Fragen zum Schmerz, also Schmerzcharakter, erstes Auftreten, Verlauf, Auslöser usw. „Erkrankungen und Medikamente“ umfassen alle für die Leitsymptomatik wichtigen Fragen zu Begleit-, Vor- oder familiären Erkrankungen und eingenommenen Medikamenten.

2.

Zielführende Auswahl an körperlichen Untersuchungen und zielführende Anordnung diagnostischer Maßnahmen. Zu jedem Fall gibt es eine Reihe von Befundanforderungen, die in der Checkliste des Prüfers aufgeführt sind. Bewertet wird, zu welchen Untersuchungen und Befundanforderungen sich die Studierenden entscheiden.

3.

Körperliche Untersuchung und Interpretation der Befunde. Bewertet werden die Durchführungsqualität der vorgenommen Untersuchungen am Simulationspatienten oder Simulator und die Interpretation der anderen vorliegenden Befunde, der im vorherigen Schritt angeforderten Untersuchungen.

4.

Therapievorschlag, Beratung und Abschluss des Gesprächs. Jeder Fall muss sinnvoll abgeschlossen werden, dabei gibt es große Unterschiede: Je nach Fall sollte der Therapievorschlag medizinisch korrekt sein, Risiken für den Patienten sollten zur Sprache kommen oder das weitere Prozedere besprochen werden.

5.

Differentialdiagnostische Abwägungen, der Einbezug der „Abwendbaren gefährlichen Verläufe“ (AgV) sowie die richtige Diagnose, die auf der Checkliste genannt sind, führen zur Note.

Die Leistung aller Studierenden, die im Wintersemester 2014/1015 und im Sommersemester 2015 den OSCE-„Entscheidungsfindung“ durchliefen, wurde nach den Kriterien „Anamneseerhebung“, „Anforderungen, bzw. Auswahl der Untersuchungen und Befundanforderungen“, „Qualität der Befunderhebung“, „Abschluss des Gesprächs und Folgemaßnahmen“ sowie „differenzialdiagnostisches Denken“ in ihrer Notenverteilung, Durchschnittsnote und Standardabweichung an den Stationen ausgewertet sowie mittels ANOVA und Scheffe-Test einem Mittelwertvergleich aller Stationen und Fächer unterworfen, um deren Einfluss auf die Leistungsunterschiede statistisch zu überprüfen. Als Signifikanzniveau wurde 0,05 gewählt. Die Ergebnisse der Studierenden an den verschiedenen Stationen wurden für die vorliegenden Analysen wie unabhängige Daten behandelt, da eine Datenanalyse abhängiger Daten für die behandelten Fragestellungen nicht notwendig erschien.

Die Bewertungen, die die Simulationspatienten zur Kommunikationskompetenz vornahmen, wurden in ihrer Verteilung nach den Kategorien „Auftreten“, „Empathie“ und „Information“ über alle Studierenden und Stationen hinweg analysiert.

Für die Datenanalyse (Abbildung 1 [Abb. 1], Tabelle 1 [Tab. 1], Häufigkeiten, Mittelwerte, Standardabweichungen, Signifikanz, ANOVA) wurde das Statistikprogramms SPSS (IBM SPSS Statistics 22) und für die Abbildung 2 [Abb. 2], Abbildung 3 [Abb. 3] bis Abbildung 4 [Abb. 4] das Rechenprogramm Excel (Microsoft Office Excel 2007) verwendet.

Zwischen November 2014 und Juli 2015 nahmen insgesamt 218 Studierende am Ende ihres Blockpraktikums Allgemeinmedizin am fächerübergreifenden OSCE-„Entscheidungsfindung“ teil. 208 Studierende absolvierten je drei Stationen (624 Stationen), von 9 Studierenden liegen nur von zwei Stationen Beurteilungen vor (Prüfer kam verspätet) (18 Stationen) 1 Studierender unterbrach die Prüfung krankheitsbedingt nach 1 Station. Insgesamt wurden in diesem Zeitraum 37 unterschiedliche Stationen eingesetzt, die 18 klinischen Fächern zugeordnet werden können (siehe Tabelle 1 [Tab. 1]).

Auf den Bewertungsbögen der Prüfer finden sich insgesamt 3160 Bewertungen für die Kategorien Anamnese, Anforderung, Befund, Therapie und DD, 55 Einzelnoten (1,71%) fehlen über alle Stationen (siehe Tabelle 2 [Tab. 2]). Die Häufigkeitsverteilung der Durchschnittsnoten zeigt in Abbildung 1 [Abb. 1] bei einem Mittelwert von 2,33 eine Linksverschiebung zugunsten der besseren Noten.

Über die fünf Bewertungskategorien verteilen sich die Noten zwischen 2,17 für die Anamneseerhebung als bestes Ergebnis, bis zu 2,48 für die Therapieempfehlung mit dem schlechtesten durchschnittlichen Ergebnis, wie Tabelle 2 [Tab. 2] und Abbildung 2 [Abb. 2] zeigen. Während die Noten 4 und 5 für die Anamneseerhebung nur 61 Mal (9,5%) vergeben wurden, wurden sie für die Therapie 125 Mal (19,4%) vergeben. Für die körperliche Untersuchung und Interpretation der Befunde erhielten die Studierenden in 61% (N=388) der Fälle eine 1 oder 2, allerdings in 15% (N=95) der Fälle eine Note 4 oder 5. Betrachtet man die Notenverteilung in den Beurteilungskriterien nur im Mittelwertvergleich, ergibt sich im post-hoc-Test ein signifikanter Unterschied zwischen den Kategorien Anamnese und Anforderung.

Auch wenn man die Notenverteilungen in den Fächern betrachtet, ergeben sich deskriptiv deutliche Unterschiede, die im Mittelwertvergleich mittels ANOVA signifikant sind, die allerdings, wird im Post-hoc-Test (Scheffé) jedes Fach mit jedem Fach verglichen, nur auf wenigen signifikanten Unterschieden zwischen zwei Fächern beruhen. Statistisch signifikant unterscheidet sich die Notengebung der hier zur Darstellung ausgewählten fünf Fächer nur zwischen der Allgemeinmedizin und Neurologie sowie zwischen der Kardiologie und Neurologie. Alle anderen Unterschiede sind statistisch nicht signifikant (siehe Abbildung 3 [Abb. 3]).

Die Simulationspatienten gaben im Untersuchungszeitraum für 643 Stationen 590 auswertbare Bewertungsbögen mit insgesamt 1729 Beurteilungen in Schulnoten für die Interaktion von „Arzt“ und „Patient“ ab (53 Mal wurde kein Bewertungsbogen vom SP ausgefüllt, z.B. aus Zeitmangel). 10 Mal fehlt eine Note oder ist nicht eindeutig in der Kategorie Auftreten, 15 Mal bei Empathie und 16 Mal bei Information (fehlende Werte insgesamt: 2,31%). Wie Abbildung 4 [Abb. 4] zeigt, bewerten die Simulationspatienten das Auftreten der Studierenden weit überdurchschnittlich häufig mit den Schulnoten 1 oder 2 (80,34%) und nur in 3,27% der Beurteilungen mit 4 oder 5. Die Empathie schneidet mit 78,08% Einsern oder Zweiern und nur 4,34% mit den Noten 4 oder 5 ähnlich gut ab. Die Beurteilung der „Information“ durch die Studierenden fällt hingegen schlechter, mit noch über zwei Dritteln der Bewertungen (68,84%) gut bis sehr gut, aber auch 11,32% der Bewertungen mit der Note 4 oder 5, aus. In 10 Bewertungsbögen wurden Studierende in allen drei Kategorien mit 4 oder schlechter bewertet.

Die Studierenden erhalten durch die Patientenfälle aus verschiedenen fachlichen Bereichen, die Systematik der Stationen und das Nachgespräch mit den Prüfern eine individuelle Rückmeldung über ihre beobachtete klinische Kompetenz. Die Leistungen der Gesamtheit der geprüften Studierenden sagen jedoch etwas darüber aus, inwiefern sie durch die Lehre der Referenzfächer und insgesamt auf das in der Prüfung abgebildete Spektrum der praktischen Anforderungen des Berufs vorbereitet wurden. So lassen die durchschnittlichen Ergebnisse über alle Stationen der Leistungskategorien Anamnese, Entscheidung für bestimmte Untersuchungen und ihre Durchführung, Abschluss des Gesprächs und Therapie sowie das differentialdiagnostische Nachgespräch Rückschlüsse auf die Ausbildung als Ganzes zu. Die Reliabilität der Beurteilung wurde in einem Prätest als zufriedenstellend beurteilt (Neuhof D, s.a.), eine formale Evaluation der Validität fand dagegen nicht statt. Insgesamt zeigt sich, dass die Studierenden vor dem Eintritt in das Praktische Jahr über die Fächer und Kompetenzbereiche hinweg in ihrer Gesamtheit betrachtet gut ausgebildet sind. Dies trifft aber nicht für alle in gleichem Maße zu; es fällt auf, dass bei den insgesamt positiven Leistungen, ein geringer Anteil von Studierenden (3,6%) an einer Station über 5 Kategorien schlechter als 4,0 und 2 Studierende (<1%) über alle durchlaufenen Stationen schlechter als 4,0 abschneidet. Auch stellen die Simulationspatienten in 10 Fällen auf allen Interaktionsebenen große Defizite fest.

Die Tatsache, dass die Anamneseerhebung curricularer Bestandteil sowohl auf fachlicher als auch auf kommunikativer Ebene vieler Lehrveranstaltungen ist, spiegelt sich auch in den besten Noten für diesen Teil der Aufgabe in den Stationen wider. Am schlechtesten schneidet hier die Aufgabe ab, den Patienten eine Therapie oder ein risikoarmes Verhalten zu empfehlen oder auch weitere notwendige Maßnahmen zu erklären. Ein Grund hierfür könnte sein, dass in diesem Schritt der Prüfung über eine Intervention entschieden werden muss und dies in der Lehre weniger ausführlich behandelt wird oder man darauf vertraut, dass dieser Bereich im Praktischen Jahr vertieft wird.

Der Unterschied in den Leistungen der Studierenden nach Fächern ist deskriptiv zwar erkennbar, statistisch signifikant ist er aber in den Mittelwertvergleichen nur in wenigen Fällen. Die Sichtung der Notenverteilung pro Station erlaubt jedem Fach eine differenzierte Reflexion über die Ursachen der Leistungswerte und ggf. eine Anpassung seiner Lehrinhalte.

Die Beurteilungen der Arzt-Patienten-Interaktion durch die Simulationspatienten fallen sehr positiv aus; allerdings identifizieren auch die Simulationspatienten einzelne Studierende, von denen sie sich gleich in mehrfacher Hinsicht schlecht behandelt fühlen.

Die Ergebnisse zeigen insgesamt ein positives Bild der Leistungen der Studierenden. Darüber hinaus eignet sich der OSCE-„Entscheidungsfindung“ als kompetenzorientierte Prüfung nicht nur für die Studierenden als Feedbackinstrument, sondern ebenfalls für die Referenzfächer, inwiefern die theoretischen Lehrinhalte in einer praxisnahen Situation angewendet werden können. Darüber hinaus kann der OSCE-Entscheidungsfindung der Fakultät als Orientierung dienen, ob die Ausbildung der Studierenden hinsichtlich der in der Prüfung beobachtbaren Kompetenzen zum Lernerfolg führt.

Einschränkend muss erwähnt werden, dass eine formative Prüfung evtl. von den Studierenden weniger erstgenommen wird und deshalb keine maximalen Leistungen gezeigt werden. Auch ist die geringe Anzahl von Stationen, die die Studierenden durchlaufen, eine Ursache für eine Verzerrung der individuellen Ergebnisse in Bezug auf die objektiven Leistungen. Es ist natürlich stark vom Zufall abhängig, ob bereits aus Famulaturen oder Praktika Erfahrungen mit den infrage kommenden Differentialdiagnosen vorliegen, oder eine Station fachliche Anforderungen stellt, die nur in einer Lehrveranstaltung thematisiert wurden. Auch kann der Erfolg bzw. Misserfolg an der ersten Station Einfluss auf die anschließenden Leistungen haben und sicher beeinflusst auch der zeitliche Abstand zu den Lehrveranstaltungen des Faches das Ergebnis. Eine Einschränkung in Bezug auf die Leistungsmessung stellt darüber hinaus die Tatsache dar, dass nicht alle pathologischen Befunde gut simulierbar sind (z.B. Blutdruck- und Pulswerte) und Wechsel zwischen Simulationspatienten und Simulatoren manchen Studierenden Probleme bei der Aufgabenbewältigung machen. Trotz diesem potentiellen Bias, die individuelle Leistungsmessung und Testgüte betreffend, sind die Autoren der Ansicht, dass die Ergebnisse insgesamt als Feedback an die Fakultät genutzt werden können. Insofern ist der OSCE-„Entscheidungsfindung“ im jetzigen Umfang zwar kein reliables Instrument zur Leistungsmessung, jedoch ein Instrument zur Reflexion der individuellen und fachspezifischen - und darüber hinaus durch das Spektrum von 18 klinischen Fächern auch fakultären - lehrbezogenen Stärken und Schwächen und kann in diesem Sinne auch zum „Lernerfolg“ einer Fakultät beitragen.

Der OSCE-„Entscheidungsfindung“ hat sich zum wichtigen Feedback-Instrument im Marburger Humanmedizin-Studiengang entwickelt. Die Tatsache, dass er fächerübergreifend ist, ermöglicht es vielen Fächern, sich zu beteiligen, da nicht alle Stationen durch Prüfer einer Abteilung besetzt werden müssen, jedes Fach aber mit einem Teil seiner Lehrinhalte vertreten sein kann. Gleichzeitig werden, auf die Gesamtheit der Stationen bezogen, die meisten praktischen Fertigkeiten, die curricular verankert sind und viele kompetenzorientierten Lernziele geprüft, die bisher keiner anderen Prüfung unterliegen. Die vorliegenden Ergebnisse ermutigen dazu, den Fächern, anders als in der Vergangenheit, regelmäßig zusammengefasste Datenanalysen der Prüfungen zur Verfügung zu stellen und sie zur Diskussion ihrer fachbezogenen Ergebnisse anzuregen.

Als eine der bisher wenigen kompetenzorientierten Prüfungen am Fachbereich Medizin in Marburg wäre eine Ausweitung des Formates auf mehr Stationen als bisher wünschenswert. Im Rahmen der in Marburg avisierten Curriculumsreform und zukünftigen Einberechnung der besonderen Leistungen der fakultätsinternen Prüfer in die Personalorientierungszahl (Stellen für Lehre) rückt diese Möglichkeit auch praktisch in Reichweite. Darüber hinaus ist es sinnvoll und machbar, Studierende, die in dieser Form der Prüfung als besonders leistungsschwach erscheinen, besonders zu beraten oder enger in der weiteren Studienphase oder im Praktischen Jahr zu begleiten. In einem Fall ist dies bereits erfolgt.

Die Autoren erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.