gms | German Medical Science

Die Ausbildung zukünftiger Mediziner steht im Rahmen der COVID-19-Pandemie – aber auch darüber hinaus – vor Herausforderungen in Bezug auf den Unterricht und die Prüfung von Kompetenzen. Leistungsüberprüfungen sind AUCH in der Pandemie unerlässlich und bedürfen ENTSPRECHENDER Anpassungen [1], [2], [3]. Die Objective Structured Clinical Examination (OSCE), eine verbreitete Methode zur Überprüfung von klinisch-praktischen Fertigkeiten [4], ist im Rahmen der Pandemie eine besondere Herausforderung [5], [6]. Bereits vor der Pandemie gab es Berichte über positive Erfahrungen mit online gestützten OSCE-Prüfungen, die z.B. aufgrund großer räumlicher Distanz angeboten wurden [7], [8]. Auch zur curricularen Integration der Telemedizin wurden, ohne jedoch klare Anpassungen zu empfehlen, standardisierte Tele-OSCE-Simulationen erprobt und dabei Barrieren und Herausforderungen identifiziert [9], [10], [11], [12]. Im Rahmen der COVID-19-Pandemie wurden verschiedene Online-OSCEs erprobt und positiv evaluiert. Empfohlen wurde hierzu der Einsatz verschiedener Technologien bei Online- oder virtuellen OSCEs [13], [14]. Die Ergebnisse zeigten eine gute Machbarkeit [15], [16], [17], [18], [19], [20] sowie positive Lernerfahrungen [5], [21], [22]. Insbesondere wurden technische und organisatorische Empfehlungen adressiert, notwendige Anpassungen aufgrund telemedizinischer Aspekte wurden bisher nicht wegweisend kommentiert [5], [16], [18], [23]. Da der Einsatz von Online-OSCEs im Rahmen anstehender Digitalisierungsprozesse vermehrt diskutiert wird [14], [24], [25], [26], [27], sind, um das Format weiterzuentwickeln, detaillierte Feedbacks von den Hauptakteuren gefordert [28], [29].

An der Medizinischen Fakultät der Universität Duisburg-Essen werden im 1. klinischen Semester Basis-Kompetenzen geschult und insbesondere die Anamneseerhebung vermittelt. Unter Pandemiebedingungen sollte die erworbene Anamnese-Kompetenz, als zentrales gemeinsames Lernziel der beteiligten Fächer, überprüft werden, weshalb eine OSCE-Prüfung im Online-Format entwickelt wurde.

Ziel dieser Untersuchung war es, Erkenntnisse über ggfs. notwendige Anpassungen für die zukünftige Durchführung von Online-OSCE-Anamnese-Stationen in einem telemedizinischen Setting zu gewinnen.

In einem Mixed Methods Ansatz wurden mit einem Fragebogen Informationen zu Machbarkeit und Akzeptanz einer Online-OSCE-Anamnese-Station seitens der Studierenden erfasst. Mittels semistrukturierter Interviews wurden die Herausforderungen und Limitationen in der Wahrnehmung der Studierenden, der Simulationspatient*innen (SPs) und Prüfenden erhoben.

149 Studierende nahmen an einer strukturierten Anamnese-OSCE-Station teil, welche im Wintersemester 2020/2021 via Zoom^® durchgeführt wurde. Hierzu wurde eine bereits in regulären OSCE-Prüfungen erprobte Anamnese-Station verwendet und mit der Rolle vertraute SPs eingesetzt. Abbildung 1 [Abb. 1] zeigt den auf ein telemedizinisches Setting angepassten Konsultationsanlass und die Prüfungsaufgabe, so dass die virtuelle Anamnese so realistisch wie möglich gestaltet wurde. Die Bewertungsitems der Prüfungs-Checkliste wurden nicht verändert.

Per E-Mail erhielten die Studierenden eine strukturierte Anleitung zum Prüfungsablauf. Ihnen wurde per Zoom-Link ein persönlicher Prüfungs-Zeitraum zugesandt. Für die Online-Prüfung wurden über 4 Tage, in je 3 parallelen Zoom-Räumen, mehreren Prüfungsblöcke von jeweils 1½ Stunden Dauer angelegt. Für jeden Prüfungsblock wurden 6 Studierende geplant. Die Prüfungszeit betrug, wie auch schon vor der Pandemie, jeweils sechs Minuten plus Feedback von vier Minuten. Zu Beginn jedes Prüfungsblocks erhielten die Studierenden von Moderator*innen und Prüfenden eine Einführung. Ein Prüfling verblieb im Raum, die weiteren 5 wurden in den Warteraum geschickt, aus dem sie nacheinander in den Prüfungsraum geholt wurden. Die Prüfungsanweisung erfolgte über den Chat. Abbildung 2 [Abb. 2], Punkt a zeigt die konkrete Prüfungssituation mit verborgenen Prüfenden und sichtbarem SP. Abbildung 2 [Abb. 2], Punkt b gibt die Situation des strukturierten Feedbacks mit sichtbarem Prüfenden und nicht sichtbaren SPs wieder. Eine Benotung erfolgte nicht.

Ein Zugang zum internetbasierten Fragebogen wurde an alle teilnehmenden Studierenden (N=149) per E-Mail versendet. Die Befragung wurde mittels der Opensource-Software SosciSurvey [https://www.soscisurvey.de/] durchgeführt. Die Teilnahme erfolgte freiwillig und anonym. Alle Teilnehmer*innen erklärten zu Beginn der Online-Befragung ihr Einverständnis. Für die Studie liegt eine positives Ethikvotum der zuständigen Kommission vor (Nr. 20-9202-BO). Der Fragebogen umfasste neben Angaben zum Geschlecht und Alter insgesamt 22 Items (vgl. Tabelle 1 [Tab. 1]). Die Items wurden basierend auf Studien formuliert, in denen die Machbarkeit und Herausforderungen von Online-OSCEs vor und während der Pandemie untersucht wurden [15], [30].

Erfasst wurde eine Einschätzung der organisatorischen und technischen Machbarkeit. Die Akzeptanz des Formates wurde mit Fragen nach der Gesamteinschätzung, der Eignung als Prüfungsformat und als Lernerfahrung erhoben. Weiterhin wurden die Erfahrung in der Interaktion mit den SPs und die Realitätsnähe erfragt. Die Bewertungen erfolgten auf einer sechsstufigen Likert-Skala (vgl. Tabelle 1 [Tab. 1]). Die deskriptive Analyse der Fragebogendaten erfolgte mittels SPSS-Software (Version 27). Die Items wurden als Median mit 25%- und 75%-Perzentile sowie Mittelwert±Standardabweichung dargestellt.

Primäres Ziel der semistrukturierten Interviews mit den Studierenden war es, ein vertieftes Verständnis insbesondere zu den Items zu gewinnen, welche eine ausgeprägte Heterogenität im Antwortverhalten zeigten. Hierzu wurden insgesamt acht Studierende in zwei Gruppen mit je 4 Studierenden via Zoom interviewt. Die Einladung erfolgte randomisiert per E-Mail. Anhand eines semi-strukturierten Leitfadens wurden folgende Themenbereiche genauer untersucht:

• Aufgeregtheit/Ängstlichkeit,
• Pro versus Kontra Onlineprüfung,
• Auswirkungen des Onlineformates auf die Interaktion,
• Eignung als Prüfungsformat versus Lernerfahrung,
• Empfehlungen.

Die Auswertung erfolgte mittels inhaltlich strukturierter qualitativer Inhaltsanalyse [31], [32] und wurde Kategorie-basierend deskriptiv ausgewertet. Die Aussagen aus den Kategorien wurden paraphrasiert und in Kernaussagen zusammengefasst. Sie werden mit exemplarischen Aussagen belegt und mit Häufigkeiten quantifiziert.

Es erfolgten semistrukturierte Einzel-Interviews anhand eines Leitfadens mit den beteiligten SPs (N=6) und den beteiligten Prüfenden (N=6) via Zoom. Da eine Analyse der Erfahrungen aller beteiligten Akteure in der Literatur bisher noch nicht vorliegt, wurden die Fragen des Leitfadens nach einer Analyse der vorhandenen Literatur zu Online-OSCEs in deduktiven Kategorien entwickelt. Die Akteure wurden gebeten ein allgemeines Feedback zu der Anamnesesituation zu geben. Zusätzlich wurden sie nach der Einschätzung der Realitätsnähe der Gesprächssituation und nach Problemen gefragt. Im Hinblick auf ihre Erfahrungen mit Präsenzprüfungen sollten sie einschätzen, ob die Studierenden in der virtuellem OSCE -Anamnese anders mit ihnen umgegangen seien und welchen Eindruck sie bezüglich der Aufgeregtheit der Studierenden im Vergleich zu einer Präsenz-Prüfung hatten. Die Auswertung der Interviews erfolgte mittels zusammenfassender qualitativer Inhaltsanalyse [31], [32]. Häufig genannte Einschätzungen und außergewöhnliche Aussagen wurden interpretierend dargestellt und teilweise wörtlich zitiert.

N=116 Studierende (Rücklauf 78%) beantworteten den Fragebogen. Unter den Teilnehmenden waren 81 (69,8%) weiblich und 35 (30,2%) männlich (siehe Tabelle 1 [Tab. 1]). 35% der Studierenden gaben Vorerfahrungen in medizinischen Assistenzberufen an. Die Mehrzahl der Studierenden gaben an, sich organisatorisch gut auf die Prüfung vorbereitet gefühlt haben. Sie waren nur wenig ängstlich, wobei die Auswertung auf die Frage nach der Aufgeregtheit eine große Spannbreite zeigte. Die Prüfungserfahrung wurde überwiegend als positiv bewertet und die Studierenden gaben an sich grundsätzlich in der Situation wohl gefühlt zu haben. Trotzdem ergab die Rückmeldung zu den Fragen, ob Ihnen eine Präsenzprüfung lieber gewesen wäre ein uneinheitliches Bild. Die virtuelle Begegnung mit den SPs wurde als eher realistisch eingeschätzt. Daneben zeigte sich eine breite Streuung hinsichtlich der Frage, ob das Onlineformat die Interaktion zwischen Studierenden und SPs beeinflusst habe. Die Mehrzahl der Studierenden hielt die Anamnese inhaltlich eher nicht für schwierig. Das Feedback der Prüfenden wurde als überwiegend wertvoll eingeschätzt und sie gaben an sich in der Prüfung eher kompetent gefühlt zu haben. Das Anamnese-Gespräch habe zwar geholfen die eigene Technik zu reflektieren und zu verbessern, jedoch waren die Meinungen, ob das Onlineformat zur Einschätzung der Anamnesekompetenz geeignet ist, breit von Zustimmung bis Ablehnung gestreut. Die Frage, ob das Online-Format eine geeignete Methode sei, verbale Kommunikation zu überprüfen, wurde eher bejaht. Die Überprüfung nonverbaler Kommunikation im Online-Format wurde dagegen kritischer gesehen. Kritischer wurde auch die Eignung als Übung im Umgang mit „echten“ Patient*innen gesehen. Trotzdem wurde das Format als eher faire Prüfungsmethode eingeschätzt und ohne technische Herausforderung bewertet.

Die Items mit heterogenem Antwortmuster wurden durch strukturierte Interviews (N=8 Studierende) weiter untersucht. Die Antworten werden induktiv kategorisiert dargestellt und unter Angabe der Häufigkeit des Aspektes (NS=X), beispielhaft zitiert (siehe Anhang 1 [Anh. 1]).

Insbesondere Unsicherheiten bezüglich der unbekannten Gesprächssituation mit den SPs wurden geäußert. Die geringe Ängstlichkeit wurde mit einer geschützten Prüfungssituation und einer aktuell geringen Prüfungsbelastung erklärt. Seltener wurden Bedenken bezüglich der eigenen Kompetenz genannt. Studierende mit geringerer Aufgeregtheit begründeten dies mit der guten Organisation und damit, dass es sich nicht als echte Prüfung anfühlte. Da Aufgeregtheit oder Ängstlichkeit auch mit mangelnder Vorbereitung verbunden sein kann, wurden die Studierenden zur individuellen Vorbereitung befragt. Einige Studierende bereiteten sich inhaltlich vor, andere gaben an sich, aufgrund von gutem Vorwissen oder Zeitmangel, wenig bis gar nicht vorbereitet zu haben.

Die regelhaft erwähnten positiven Erfahrungen wurden mit dem reibungslosen Ablauf, mit der unerwartet realen Situation mit den SPs, mit der positiv wahrgenommen Lernerfahrung, sowie mit dem Feedback begründet. Einzelne negative Erfahrungen wurden mit einer langen Wartezeit, der persönlichen Einstellung zu SPs und dem Wunsch nach einer besseren Vorbereitung erklärt. Als Herausforderungen wurden die eigentliche Online-Situation und ihre Besonderheiten bezüglich der ungewohnten Interaktion durch den Video-Chat beschrieben, z.B. mussten mehr Anamnese-Fragen gestellt werden. Inhaltlich war in einigen Fällen die persönliche Strukturierung bei der Durchführung der Anamnese eine Herausforderung.

Als Hauptunterschied zu einer Präsenz-Anamnese erwähnten die Studierenden die fehlende Körpersprache bei sich und den SPs. Als Folge wurde ein erschwerter Beziehungsaufbau mit Schwierigkeiten bei der medizinischen Einschätzung der Schwere des Falles berichtet. Einige Studierende entwickelten Strategien, wie an das telemedizinische Setting angepasste und gezieltere Anamnese-Fragen, um diesen Einschränkungen zu begegnen. Andere sahen keine Auswirkungen.

Die Studierenden waren sich einig, dass es sich um eine positive Lernerfahrung gehandelt hat. Es wurde als gute Übung angesehen und das Feedback wurde positiv hervorgehoben. Auch wenn es inhaltlich keine Herausforderung war, sei das Format geeignet, eine Anamnese-Struktur zu entwickeln. Als Prüfungsformat im Rahmen der Pandemie wurde die Anamnese-Station grundsätzlich als akzeptabel wahrgenommen. Bezüglich der Überprüfung von praktischen Fertigkeiten wurden Limitationen und Möglichkeiten diskutiert. Als Vorteile lobten die Studierenden, dass dadurch überhaupt eine Prüfung möglich wurde und eine Unabhängigkeit vom Infektionsgeschehen bestand. Die ungewohnte Situation für alle Akteure, die Bedenken vor technischen Schwierigkeiten, Möglichkeiten von Betrug sowie eine möglicherweise fehlende Privatsphäre zu Hause wurden als Nachteile für das Prüfungsformat genannt.

Die Studierenden kommentierten, dass bei der Vermittlung des Themas Telemedizin, neben dem Aufzeigen der denkbaren Einsatzmöglichkeiten, auch Aspekte wie eine gute technische Ausstattung oder eine gute Beleuchtung beachtet werden sollten. Zusätzlich sollten organisatorische Aspekte, wie eine ungestörte Atmosphäre thematisiert werden. Limitationen in der Interaktion und die Relevanz einer verstärkten Mimik, sollten vermittelt werden. Bezüglich des Prüfungsformates empfahlen die Studierenden eine gute technische Ausstattung, wie auch eine Fokussierung auf die Prüfungsaufgabe.

Die Auswertung der Interviews der SPs und der Prüfenden zeigten eine interne Homogenität. In der Kategorie allgemeines Feedback zur Gesprächssituation ergaben sich zwei Subkategorien: Akzeptanz des Online-Formates und Gesprächsablauf. In den weiteren Kategorien konnten keine Subkategorien gebildet werden. In Anhang 2 [Anh. 2] werden beispielhaft die Anmerkungen und wie häufig ein Aspekt von den SPs (N_SP) und den Prüfenden (N_P) benannt wurde, aufgeführt.

Aufgrund der positiven Zeit- und Wege-Ersparnis und aufgrund des reibungslosen Ablaufs zeigte sich unter den SPs und den Prüfenden eine hohe Akzeptanz des Onlineformates. Die SPs schilderten den Eindruck, dass von beiden Seiten aufmerksamer zugehört wurde, weil man nichts verpassen wollte und eine angenehmere, privatere Atmosphäre als in regulären Prüfungen herrschte. Die Studierenden konnten sich demnach gut auf die Situation einstellen und sie selbst setzten die Körpersprache intensiver als gewöhnlich ein. Die Prüfenden bestätigten, dass die Studierenden sich gut an ein Gespräch im Online-Format anpassen konnten.

Die Situation wurde von den SPs und den Prüfenden insgesamt als realistisch eingeschätzt und die SPs können sich ein solches Anamnese-Gespräch in einem akuten Behandlungsfall vorstellen. Die Möglichkeiten im Rahmen der Pandemie, wie auch die ungewohnte Situation wurden kommentiert. Die Prüfenden betonten eher die Einsatzmöglichkeit im Sinne von Folge-Konsultationen.

Die Technik wurde von beiden Seiten als unkompliziert eingeschätzt. Eine vorherige Prüfung der Technik wurde von den SPs empfohlen und kleine technische Herausforderungen, etwa dass nur eine Person zeitgleich sprechen kann, wurden diskutiert. Die Prüfenden äußerten zusätzlich Bedenken bezüglich eines möglichen Ausfalls der Technik.

Die SPs sprachen eine Reihe von Herausforderungen an. Aus schauspielerischer Sicht falle der Einstieg ins Gespräch leichter, wenn man als SP erst direkt mit Start der Prüfungszeit das Video frei gibt. Die Studierenden hätten ungewohnte Fragen gestellt, um die Situation und die Schwere der Erkrankung besser einschätzen zu können. Auch das Schauspielern VON Schmerzen vor der Kamera sei ungewohnt, bedürfe Anpassungen in der Gestik und mache eine genauere Beschreibung der Symptomatik notwendig. Die Prüfenden sahen keine wesentlichen Herausforderungen in der Bewertung. Die durch die Online-Situation veränderte Kommunikation und Anamnese-Technik der Studierenden wurde allerdings bemerkt und eine Anpassung der Checklisten vorgeschlagen. Aus Sicht der SPs und der Prüfenden wirkten die Studierenden im Vergleich zu Präsenzprüfungen deutlich weniger aufgeregt.

Durch die COVID-19-Pandemie wurde es notwendig, Unterrichts- und Prüfungsformate zur Vermittlung und Überprüfung erworbener Kompetenzen anzupassen und innovative Methoden auf ihre Möglichkeiten und Limitationen hin zu überprüfen.

Die ersten Erfahrungen mit online gestützten OSCE-Prüfungen zeigten bereits vor der Pandemie den positiven Aspekt der Zeitersparnis, geringere Kosten und weitere Ressourcen-Ersparnisse für Lehrende und Fakultäten [7], [8], [33]. Aus Erfahrungen mit Online-OSCEs während der Pandemie wurden in erster Linie technische und organisatorische Empfehlungen abgeleitet [5], [16], [18]. Insbesondere eine dezidierte Vorbereitung aller beteiligten Akteure in Bezug auf die Verwendung der Technologien wurde empfohlen [6], [34]. Die Bewertung von Kompetenzen wurde dabei ähnlich wie im Präsenz-Szenario vorgenommen [18]. Schwierigkeiten bei der Prüfungsbewertung im Online-Format im Vergleich zum Präsenzformat wurden berichtet [7], [14]. Trotz positiver Bewertung hinsichtlich Akzeptanz und Machbarkeit wünschten sich Studierende das Online-Format nicht uneingeschränkt als Ersatz [20]. Die Gründe dafür wurden bisher nicht systematisch untersucht. Mögliche Limitationen aufgrund der physischen Barrieren wurden diskutiert, aber nicht näher geprüft [8], [20], [21], [26]. Unsere Untersuchung sollte die Möglichkeiten und Limitationen aus der Sicht aller Akteure betrachten, um dadurch Empfehlungen für Anpassungen aussprechen zu können, was ggfs. zu einer höheren Akzeptanz des Prüfungsformates führen kann [28].

Eine technisch und organisatorisch problemlose Durchführbarkeit einer Online-OSCE-Station konnte von uns bestätigt werden. Das Szenario wurde von den Studierenden und SPs als realistisch und die Prüfungsmethode als fair wahrgenommen. Studierende und Prüfende erkannten die Vorteile durch die Wege- und Zeitersparnis.

Die Wahrnehmung von positiven Lerneffekten, z.B. durch das Feedback [5], [21], [22] bestätigt die Akzeptanz des Formates, insbesondere als Alternative während der Pandemie. Es wurde als gute Übung zur Entwicklung eigener Strategien wahrgenommen, was auch positive Effekte auf das Selbstvertrauen habe. Allerdings wünschten sich die Studierenden, aufgrund der folgend dargestellten Limitationen und notwendigen Anpassungen eher ein Präsenz-Szenario [20]. Insbesondere die Prüfbarkeit von non-verbaler Kommunikation und praktischer Fertigkeiten wurde kritisch diskutiert, obwohl die Überprüfung von Kommunikation im Rahmen eines Online-OSCEs gut realisierbar erscheint [8], [15]. In den Interviews zeigte sich, dass die unbekannte Gesprächssituation und die notwendigen Anpassungen der Kommunikations- und der Anamnese-Technik im virtuellen Format von den Studierenden als besondere Herausforderungen wahrgenommen wurden, obwohl sie die Anamneseerhebung als solche grundsätzlich nicht als herausfordernd ansahen. Auch die SPs und die Prüfenden nahmen die Notwendigkeit einer veränderten Kommunikation mit den Studierenden wahr und hielten eine entsprechende Anpassung des Rollenskriptes, bzw. der Prüfungs-Checkliste für erforderlich.

Die fehlende Körpersprache im Online-Format erschwerte aus Sicht der Studierenden und SPs einen Beziehungsaufbau. Schwierigkeiten bei der medizinischen Einschätzung des Falles wurden von den Studierenden wahrgenommen. Einige Studierende berichteten in den Interviews, eigenständig Strategien in der Gesprächsführung entwickelt zu haben, wie etwa an die telemedizinische Situation angepasste Anamnese-Fragen. Dennoch forderten sie eine gezielte Anpassung der Lehre, um diese Limitationen vorab bewusst zu machen. Den SPs fiel der Beziehungsaufbau in ihrer Rolle deutlicher leichter, was auf ihre professionelle Ausbildung zurückzuführen sein mag. Sie empfanden die Gesprächssituation als real, wobei Versuche von intensiver eingesetzter Körpersprache und eine veränderte Anamnesetechnik der Studierenden auffiel. Mögliche technische Schwierigkeiten, wie Übertragungsstörungen, Betrugsmöglichkeiten („Schummeln“) und die möglicherweise fehlende Privatsphäre im häuslichen Setting, z.B. durch störende Angehörige, wurden als weitere kritische Punkte aufgezeigt.

Um ein Online-OSCE-Format zur Überprüfung der Anamnesekompetenz auch in Zukunft als alternative valide Prüfungsmethode sinnvoll weiterzuentwickeln, sollten diverse Aspekte beachtet werden. Eine technische Umsetzung ist bei vorangegangener Schulung störungsfrei möglich [25], [28]. Die Gelegenheit für den Erwerb von klinischen Kompetenzen und für positive Lernerfahrungen unterstützt die Akzeptanz des Formates. Dies ist für zukünftige Einsätze, z. B. für auswärtige Studierende oder im Rahmen der Anpassung des Medizinstudiums an digitale Prozesse [8], [11] zu beachten. Die Prüfungssituation in häuslicher Umgebung kann nur bei gesicherter Privatsphäre von Vorteil sein [8], [11].

Durch fehlende Körpersprache kommt es zu Veränderungen der Kommunikation und der Anamnesetechnik [7]. Notwendige medizinische Informationen müssen in veränderter Weise, ähnlich wie in der telemedizinischen Versorgung [8], [10], [11], [30] erfragt werden. Es bedarf daher einer Adaptation der Schulung der Studierenden, einer Anpassung des Rollenskriptes der SPs und der Checklisten der Prüfenden:

• Darstellung der klinischen Problematik via Video-Chat (verbal/nonverbal)
  • veränderte Kommunikationselemente (z.B. verbale Beschreibung, deutlicher Gesichtsausdruck, „Zeigen“ der Problematik in die Kamera)
• veränderte/vermehrte Anamnese-Fragen der Studierenden
  • Konkrete Fragen zum Ort/Ausprägung der Problematik
  • Aufforderung zur genauen Beschreibung der Einschränkung
• verbale/nonverbale Kommunikationselemente
  • konkrete Bestätigung des Verständnisses der Aussagen der SPs (z.B. verbale Bestätigung, deutliches Nicken)

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.