gms | German Medical Science

Die Vermittlung kommunikativer Kompetenzen wird in den nationalen und internationalen Empfehlungen für die curriculare Ausgestaltung des Medizinstudiums als eines der Kernziele für eine erfolgreiche ärztliche Ausbildung angesehen [1], [2], [3]. An vielen medizinischen Fakultäten wurden bereits Programme zur Lehre und Prüfung sozialer und kommunikativer Kompetenzen implementiert [4], [5], [6], [7]. Am Standort Düsseldorf wurde das interdisziplinäre und longitudinale Curriculum CoMeD zur Lehre und Prüfung kommunikativer Kompetenzen etabliert. Prüfverfahren fokussieren bisher v.a. auf Basis- und Anwendungswissen sowie die Anwendung des Gelernten im Rahmen eines OSCE (Objective Structured Clinical Examination) mit Schauspielpatienten [8].

Darüber hinaus wird für den Erwerb kommunikativer Kompetenzen das arbeitsplatzbasierte Lernen auf Stationen und in Lehrpraxen als essenziell angesehen [9], [10]. Im Rahmen klinischer Praktika sollen die angehenden Ärzt/innen ihre kommunikativen Kompetenzen im Patientenkontakt unter Supervision einüben. Häufig fühlen sich die Studierenden dabei jedoch allein gelassen und vermissen Anleitung und Feedback durch erfahrene Ärzte [11], [12]. Im Gegensatz zu den oft gut strukturierten und supervidierten Trainings- und Seminarprogrammen der „Skills Labs“ und der theoretischen Fächer [13] wird der Lernprozess in den Praktika nur unzureichend unterstützt [14], [15]. Es stellt sich somit die Frage, mit welchen formativen Prüfungsmethoden der kommunikationsbezogene Lernprozess der Studierenden am Praktikumsplatz gefördert und strukturiert werden kann.

Ziel eines sogenannten „arbeitsplatzbasierten Assessment“ ist die Beobachtung der spezifischen Leistung von Studierenden im Praxisalltag und die Gabe von Feedback zur Lernsteuerung [16], [17], [18]. Strukturierte Beobachtung und Feedback am Arbeitsplatz konzentrieren sich im Medizinstudium vielfach auf praktische Fertigkeiten wie Anamneseerhebung oder körperliche Untersuchungstechniken. Für das differenzierte arbeitsplatzbasierte Assessment kommunikativer Kompetenzen in komplexen Arzt-Patienten-Interaktionen sind bisher kaum Instrumente verfügbar. Hierbei werden eher Globale Ratings empfohlen sowie Verfahren zur unmittelbaren Rückmeldung an Studierende [19], [20]. Im vorliegenden Projekt wurde das Berlin Global Rating (BGR), welches in der summativen Simulationsprüfung bisher erfolgreich eingesetzt wurde [8], in den Praktikumsalltag transferiert und für das arbeitsplatzbasierte formative Assessment der kommunikativen Kompetenzen herangezogen. Hierzu gibt es unseres Wissens noch keine Erfahrungen.

Ziel des Pilotprojektes war, die Möglichkeiten und Grenzen eines anhand des BGR vorgenommenen arbeitsplatzbasierten Assessments zur Arzt-Patienten-Kommunikation zu erproben, welches die Studierenden im klinischen Setting beurteilt und strukturiertes Feedback ermöglicht. Folgende Fragen sollten beantwortet werden:

1.

Ist ein formatives arbeitsplatzbasiertes Assessment mit Hilfe des BGR im hausärztlichen Arbeitsalltag praktikabel?

2.

Wie ist die Akzeptanz der Prüfmethode bei den Studierenden?

3.

Wie ist die Reliabilität des Prüfungsinstruments BGR im arbeitsplatzbasierten Assessment?

An der konzeptuellen Entwicklung des arbeitsplatzbasierten Assessments beteiligten sich die am Kommunikations-Curriculum beteiligten Fächer im Rahmen regelmäßiger Sitzungen. Die Organisation und Durchführung wurde über ein Jahr von einer wissenschaftlichen Hilfskraft vorgenommen.

Das resultierende Assessment wurde im Rahmen des 14-tägigen Hausarztpraktikums im 4. Studienjahr durchgeführt, welches durch fallorientierte Seminare „Allgemeinmedizin“ und Kommunikationstraining vorbereitet wird [7]. Eines der zentralen Lernziele ist die selbständige Durchführung von Beratungs- und Aufklärungsgesprächen. Die Studierenden werden dabei durch Lehrärzt/innen im „Ein-zu-Eins“-Teaching sowie durch ein Online-Logbuch begleitetet [21].

Für das Pilotprojekt wurden zunächst ausschließlich Lehrärzt/innen rekrutiert, die im Umgang mit dem BGR geschult waren. Zur freiwilligen Teilnahme wurden dann alle Studierenden eingeladen, die ihr Hausarztpraktikum zeitnah in einer dieser Lehrpraxen absolvierten. Durch Informationsveranstaltungen und persönliche Ansprachen sollte der Rücklauf gesteigert werden. Infolge willigten sechzehn Studierende zur Teilnahme ein. Diese wurden über Projektziele und -ablauf aufgeklärt und mit einem Leitfaden instruiert. Die Teilnahme der Studierenden wurde mit einem Buchgutschein über 20 Euro honoriert. Die Studierenden waren auf neun Lehrpraxen verteilt. Die somit teilnehmenden neun Lehrärzt/innen wurden dann nochmal ausführlich informiert und ebenfalls mit einem Leitfaden zum Ablauf instruiert.

Die Auswahl und Aufklärung der Patienten übernahm der Lehrarzt vor Ort. Den Patient/innen wurde ein Informationsblatt zum Studienablauf ausgehändigt und es wurde die Einwilligungserklärung zu Teilnahme, Videoaufzeichnung und Datenschutz eingeholt.

Für das arbeitsplatzbasierte Assessment wurde das Prüfungsinstrument BGR eingesetzt, welches von Hodges und McIlroy [22] entwickelt und in der deutschen Version durch Scheffer [23] validiert wurde. Das BGR misst die Qualität der Kommunikation mittels vier Items: Empathie, Gesprächsstrukturierung, verbaler und nonverbaler Ausdruck. Anhand einer fünfstufigen Likertskala wird die Leistung der Studierenden hinsichtlich dieser Aspekte bewertet, wobei die Extrempole mit einer Erläuterung versehen sind (z.B. Empathie: „Der Studierende geht nicht auf offensichtliche verbale und nonverbale Hinweise und Bedürfnisse des Patienten ein oder reagiert unangemessen.“ = 1 Punkt vs. „Der Studierende geht durchgehend verständnisvoll auf die verbalen und nonverbalen Hinweise und Bedürfnisse des Patienten ein oder reagiert angemessen.“ = 5 Punkte). Studierende können max. 20 Gesamtpunkte erreichen.

Die Studierenden erhielten die Aufgabe, je zwei Aufklärungs- oder Beratungsgespräche mit chronisch kranken Patient/innen (z.B. im Rahmen von Disease-Management-Programmen oder Gesundheitsuntersuchungen) in ihrer Lehrpraxis zu führen und aufzuzeichnen. Für die Aufzeichnung bekamen sie Videogeräte der Universität ausgeliehen. Von einer Aufzeichnung per Handy wurde explizit abgesehen. Der Lehrarzt war als Beobachter anwesend, um nach dem Gespräch die Leistung des Studierenden anhand der vier Items des BGR zu bewerten. Abschließend erfolgte ein ausführliches Feedback. Zur Unterstützung waren für jedes Item konkrete Empfehlungen zum Verhaltensfeedback in einem Merkblatt formuliert worden (siehe Anhang 1 [Anh. 1]).

Nach dem Praktikum wurden die Videoaufnahmen im Projektteam abgegeben, so dass die Gespräche jeweils von zwei unabhängigen externen Prüfern verblindet beurteilt werden konnten. Diese Aufgabe wurde ebenfalls von Personen übernommen, welche mit dem BGR vertraut waren. Damit wurde jedes Gespräch von drei Prüfern beurteilt.

Schließlich wurden die neun Lehrärzte mit einem teilstandardisierten Fragebogen zur Anwendbarkeit der Prüfmethode im Arbeitsalltag befragt. Es wurden soziodemographische Daten, Zeitaufwand (4er-Skala von „sehr“ bis „gar nicht zeitaufwändig“) und die allgemeine Beurteilung der Prüfmethode (Schulnote) erhoben. Im Freitext konnten sich die Ärzt/innen darüber hinaus zu Reaktionen der Patienten, Umsetzbarkeit im Alltag, Mehrwert, Übertragbarkeit und Ergänzungen äußern.

Die Studierenden wurden schriftlich nach ihren Erfahrungen und der allgemeine Beurteilung der Prüfmethode (Schulnote) gefragt. Im Freitext konnten sie mitteilen, was sie am Prüfverfahren als positiv wahrgenommen und was sie als problematisch erlebt haben.

Um die Praktikabilität im Arbeitsalltag auszumachen, wurden die im ärztlichen Fragebogen vorgenommenen quantitativen Angaben ausgezählt. Die Freitexteinträge wurden mittels zusammenfassender Inhaltsanalyse paraphrasiert, reduziert und zusammengefasst. Um die Akzeptanz der Studierenden abzuschätzen, wurden ihre Freitexteinträge ebenfalls inhaltanalytisch ausgewertet.

Zur Prüfung der Retest-Reliabilität wurden die beiden Gesamtbewertungen des jeweiligen Prüfers anhand des Pearson Korrelationskoeffizienten korreliert (p<=0,05). Die Inter-Rater-Reliabilität, d.h. die Übereinstimmung zwischen dem Hausarzt und den beiden externen Prüfern, die nur das Videomaterial sahen, wurde als Intra-Class-Correlation (ICC) ermittelt (Typ C, Modell mit gemischten Zwei-Weg-Effekten, 95% Konfidenzintervall, siehe Anhang 2 [Anh. 2]). Werte über 0,75 verweisen auf eine gute Reliabilität [24]. Die quantitativen Analysen wurden mit IBM SPSS Statistics 22 durchgeführt.

Es nahmen drei Lehrärztinnen und sechs Lehrärzte teil. Sie waren im Durchschnitt 49,6 Jahre alt und hatten eine mittlere hausärztliche Berufserfahrung von 17,7 Jahren.

Weiterhin nahmen 12 weibliche und vier männliche Studierende teil, die sich auf die neun Lehrpraxen verteilten. Die Studierenden befanden sich zum Zeitpunkt der Projektteilnahme im achten Fachsemester. Mit einer Ausnahme wurden von jedem Studierenden zwei Gesprächsvideos aufgezeichnet, so dass insgesamt 31 Gespräche für die Analysen vorlagen.

Die Ergebnisse werden im Folgenden entlang der drei Forschungsfragen dargestellt.

Umsetzbarkeit im Alltag: Sieben von neun Ärzten meldeten eine problemlose Umsetzung der Prüfmethode. Zwei Ärzte antworteten, dass sie je nach Patientenaufkommen in der Praxis schwierig umgesetzt werden kann, etwa wenn vorübergehend Raumkapazitäten für die Prüfung fehlen oder der prüfende Hausarzt durch Notfälle nicht genügend Zeit hat. Der Zeitaufwand wurde weder als besonders groß noch als besonders gering eingestuft (siehe Tabelle 1 [Tab. 1]).

Mehrwert: Auf die Frage nach dem Mehrwert der Methode benannten zwei Personen das Feedback, zwei Personen die Selbstbeobachtung bzw. -erkenntnis, eine Person die Belohnung einfühlsamer Gesprächstechnik. Eine Person antwortete, dass der OSCE zur Prüfung kommunikativer Kompetenzen mit Schauspielpatienten ausreiche.

Übertragbarkeit: Acht von neun Ärzten meinten, dass die Methode auf andere Gesprächssituationen übertragbar ist, z.B. Anamnesegespräche oder Gespräche mit klarer Zielsetzung, eine Person schätzte die Übertragbarkeit als schwierig ein.

Ergänzungen: Auf die Frage, was auf dem Bewertungsbogen ergänzt werden könnte, schlug eine Person vor, die eigene und die Fremdeinschätzung gegenüberzustellen, eine weitere Person empfahl, eine differenziertere Angabe zum Gesprächskontext zu machen, eine dritte Person schlug vor, auch die fachliche Kompetenz der Studierenden zu bewerten. Im Durchschnitt bewerteten die Lehrärzt/innen die Prüfmethode als gut.

Im Durchschnitt bewerteten die Studierenden die Prüfmethode ebenfalls als gut (siehe Tabelle 1 [Tab. 1]). Die Rückmeldung der Studierenden zu positiven und negativen Aspekten der arbeitsplatzbasierten Prüfung ergab folgende Punkte:

Authentizität: Die Studierenden hoben mehrfach positiv hervor, dass man in der arbeitsplatzbasierten Prüfung mit echten Patienten in einem realen Setting und unter realen Bedingungen geredet habe. Das Patientengespräch sei authentischer als das Gespräch mit Schauspielpatienten wie etwa in der OSCE Prüfung.

Zeit: Mehrere Studierende schrieben, es habe ihnen gefallen, dass sie sich Zeit für das Arzt-Patienten-Gespräch nehmen konnten.

Feedback: Am häufigsten meldeten die Studierenden zurück, dass sie mit dieser Prüfung ein direktes, persönliches und differenziertes Feedback vom Hausarzt/der Hausärztin erhalten haben. Das Feedback wurde teilweise direkt im Anschluss an das Patientengespräch gegeben oder später im Rahmen einer gemeinsamen Videoanalyse. Ein Teilnehmer schrieb, dies sei für ihn das erste Mal in der klinischen Ausbildung gewesen. Einige Studierende hatten den Eindruck, dass die Ärzte differenziert auf ihre persönlichen Stärken und Schwächen eingingen. Mehrfach wurde zurückgemeldet, dass die BGR Skala dabei half, das Feedbackgespräch bzgl. verschiedener Qualitäten zu strukturieren. Auch, so die Studierenden, sei die Wiederholung der Prüfung hilfreich gewesen. Man habe dadurch die Möglichkeit gehabt, die Kritik aus dem vorangegangenen Gespräch umzusetzen. Durch das nochmalige Feedback seien Fortschritte subjektiv erkennbar geworden. Ein Student meldet zurück, dass für ihn auch das Feedback des Patienten nützlich gewesen sei. Dies war in der Prüfung nicht vorgesehen, gibt aber einen Hinweis auf eine mögliche Variante der Prüfung.

Ein Studierender meinte, dass alle Studierenden - unabhängig von der Teilnahme am Lehrforschungsprojekt - die Gelegenheit zu einer solchen arbeitsplatzbasierten Prüfung bekommen sollte.

In der folgenden Abbildung 1 [Abb. 1] sind exemplarisch zwei besonders eindrückliche Originalzitate aufgeführt.

Setting: Ein Studierender meinte, die Gesprächssituation sei nicht planbar und man müsse sich erst darauf einstellen. Einige meinten, die Gesprächssituation sei künstlich gewesen. Sie fühlen sich durch die Beobachtung der Kamera oder der Arztes gehemmt. Dies hätte, so eine Rückmeldung, auch für den Patienten zugetroffen.

Arbeitsauftrag: Zwei Studierende meldeten Unklarheiten bzgl. des Arbeitsauftrages: Einer wünschte sich eine genauere Fragestellung für das Gespräch. Ein anderer meinte, dem Arzt sei nicht klar gewesen, wie mit den Videos verfahren werden sollte.

Rolle des Lehrarztes: Einige Studierende meinten, die Prüfung sei stark von der Lehrkompetenz und dem Engagement des Arztes/der Ärztin abhängig. Auch äußerten sie die Befürchtung, dass die Beurteilung durch das bessere Kennenlernen von Arzt und Student verzerrt wird und wenig objektiv ausfällt.

BGR: Zum BGR meldete ein Studierender zurück, es sei zu kleinschrittig, so dass Diskrepanzen zwischen Urteilen entstünden.

In den 31 Patientengesprächen erzielten die Studierenden durchschnittlich 15,55 von möglichen 20 Punkten im BGR. Die beiden Bewertungen des jeweiligen Prüfers korrelieren mit r=0,669, r=0,520 und r=0,653. Die Übereinstimmung zwischen dem Hausarzt und den beiden externen Prüfern beträgt ICC=0,445. Die paarweise Übereinstimmung beträgt ICC=0,619, ICC=0,301 und ICC=0,443 (siehe Tabelle 2 [Tab. 2]).

Das Ziel der vorliegenden Arbeit war, am Standort Düsseldorf eine arbeitsplatzbasierte Prüfung zur kommunikativen Kompetenz zu pilotieren. Die Ergebnisse werden wieder entlang der drei Forschungsfragen diskutiert.

Die Rückmeldungen der Lehrärzt/innen ergaben insgesamt ein zustimmendes Bild. Besonders positiv hervorzuheben ist die fast einstimmige Rückmeldung der Ärzte, dass Bewertung und Feedback mit Hilfe der BGR gut im Praxisalltag zu integrieren sind. Niemand hat geantwortet, dass die Methode „sehr zeitaufwändig ist“, allerdings auch niemand, dass sie „gut zwischendurch zu erledigen ist“. Es muss ein geeigneter Zeitpunkt gefunden werden, der v.a. vom Patientenaufkommen abhängt. Die Hälfte der neun Ärzte sah einen Mehrwert in dem neuen Prüfverfahren. Hier wurde v.a. das Feedback genannt. Dies entspricht dem Konzept der arbeitsplatzbasierten Prüfung als auch den Rückmeldungen der Studierenden. In diesem Zusammenhang ergab sich der interessante Hinweis, die Selbsteinschätzung in den Bewertungsbogen aufzunehmen. Feedback kann der Lernende sich auch selbst gewähren, und seine eigene Einschätzung kann er mit der des externen Beobachters vergleichen. Ferner ist der Wunsch einer differenzierten Erfassung des Gesprächskontextes nachvollziehbar, da die Beurteilung kommunikativer Kompetenzen kontextabhängig ist [25]. Entsprechende Instrumente könnten die Prüfung sinnvoll ergänzen [26].

Die Studierenden beurteilten die Prüfung durchweg als gut. Es gab zwar einige Kritikpunkte, aber niemand lehnte die Prüfmethode ab. Entsprechend der Literatur [18] entsteht hier der Eindruck, dass die Studierenden selten eine Rückmeldung zu ihrer klinischen Kompetenz erhalten. Sie schätzten besonders, dass sie es mit „echten“ Patienten in „echten“ Situationen zu tun haben. Ein wesentliches Merkmal dieser arbeitsplatzbasierten Prüfung ist, dass Studierende direkt nach der Leistung eine Rückmeldung erhalten. Bei der Bewertung fanden es einige Studierende günstig, dass der BGR die Bewertungskriterien definiert und eine strukturierte und leistungsbezogene Bewertung (i.S.v. „Wo stehe ich?“) ermöglicht. Andere hielten jedoch dagegen, dass bei der Bewertung durch den Arzt immer noch viel Subjektives einfließt, in Abhängigkeit davon, wie gut er oder sie geschult ist oder wie lange man einander kennt. Wenn das BGR als formative Prüfung eingesetzt wird, ist dies jedoch unproblematisch. Besonders positiv wurde hervorgehoben, dass durch die beiden Prüfungen eine Umsetzung der ersten Kritik im Rahmen des zweiten Gespräches und somit eine Entwicklung möglich sei.

Nach Crooks [27] sollten arbeitsplatzbasierte Prüfungen in den Lernprozess integriert werden, Feedback direkt im Anschluss an das Prüfereignis gewährt werden, Auszubildende mehrere Gelegenheiten zur Prüfung erhalten und Bewertungskriterien klar definiert und artikuliert werden. Hierbei kann die BGR Skala sicherlich ein Vehikel sein, welches den Rahmen für einige wesentliche Aspekte der Arzt-Patienten-Kommunikation aufspannt: Gesprächsstrukturierung, Eingehen auf den Patienten, verbale und nonverbale Kommunikation. Sie präzisiert Kriterien für den Erwartungshorizont und benennt Leitpunkte für das Feedback.

Die Ergebnisse zur Reliabilität der Prüfmethode sind ernüchternd. Es findet sich eine mittlere Korrelation der Gesamtbewertungen der jeweiligen Prüfer. Diese ist bei dem kurzen Zeitintervall zwischen den beiden Gesprächen zu erwarten. Ferner findet sich eine geringe Übereinstimmung zwischen den Bewertungen der Lehrärzte mit den externen Prüfern. Hieraus lässt sich ableiten, dass im Falle der Verwendung des Instrumentes für eine summative Prüfung am Arbeitsplatz die gemeinsame Schulung der Ärzt/innen inklusive einer gemeinsamen Standardsetzung („standard setting“) und Präzisierung der Gesprächssituation dringend notwendig wäre.

Trotz mehrerer Rekrutierungsmaßnahmen konnte nur eine kleine Anzahl an Studierenden für die Teilnahme am Pilotprojekt gewonnen werden. Die Stichprobe ist somit zu klein, um aus der Teststatistik sichere Schlüsse zu ziehen. Die Teilnehmer wurden auch nicht zufällig, sondern nach Interesse ausgewählt und sind nicht repräsentativ für die Grundgesamtheit. Bei den teilnehmenden Hausarztpraxen ist ein Selektionsbias zugunsten derjenigen Lehrärzte anzunehmen, die gegenüber der hier dargestellten formativen Prüfmethode grundsätzlich aufgeschlossen sind. Bei den Studierenden handelt es sich möglicherweise um eine Gruppe, die überdurchschnittlich am Thema „Arzt-Patienten-Kommunikation“ interessiert ist. Ein Vergleich mit den OSCE Prüfungsergebnissen der Gesamtkohorte zeigte jedoch, dass sich die Studienteilnehmer nicht wesentlich vom Durchschnitt der Kohorte unterscheiden (Ergebnisse hier nicht gezeigt).

Für die Evaluation seitens der Lehrärzt/innen und der Studierenden standen ferner keine validierten Befragungsinstrumente zur Verfügung. Die Evaluation auf Basis von Freitextkommentaren ist auf eine deskriptive Inhaltsauswertung limitiert, für die Evaluation tieferer Haltungen und Motive wären Interviews oder Fokusgruppen unter Anwendung qualitativer Forschungsmethoden erforderlich.

Trotz verschiedener methodischer Limitationen haben sich wichtige Hinweise für die weitere Entwicklung einer arbeitsplatzbasierte Bewertung kommunikativer Kompetenzen im klinischen Setting ergeben. Es ist deutlich geworden, dass diese formative Prüfung eine sinnvolle Ergänzung in einem Kommunikations-Curriculum einer medizinischen Fakultät ist. Am Standort Düsseldorf wird im Rahmen des Modellstudiengangs das Kommunikationstraining mit Schauspielpatienten um ein Online-Logbuch-gestütztes Trainingsprogramm mit Realpatienten im Rahmen der Praxisblöcke des 4. und 5. Studienjahres und des 14-tägigen Hausarztpraktikums ergänzt [21]. Das hier vorgestellte Assessment soll dabei als formative Prüfungsmethode weiter erprobt und den Anregungen entsprechend entwickelt werden.

Die Ergebnisse zeigen auch, dass die Verwendung als summative Prüfung einen deutlich größeren Schulungs- und Abstimmungsaufwand erfordern würde, der bei einer Vielzahl von Lehrpraxen schwer umsetzbar wäre. Zusammen mit anderen Prüfungen bildet das vorgestellte Konzept von Beobachtung und Feedback ein longitudinales Portfolio zur kommunikativen Kompetenz ab. Hier besteht die Chance, aber auch Herausforderung der Fakultätsentwicklung auf dem Weg zu einer verbesserten Feedbackkultur im klinischen Alltag.

Wir danken der QVM Kommission der Medizinischen Fakultät Düsseldorf für die Förderung des Lehrprojektes. Besonders danken wir den Studierenden und Hausärztinnen und -ärzten, die an diesem Projekt teilgenommen haben.

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.

Für das Projekt liegt ein positives Votum der Ethikkommission der Medizinischen Fakultät der HHU vor. (Nr. 7194).