gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Das Eingehen auf Patienten – Entwicklung, Validierung and psychometrische Eigenschaften eines neuen Erhebungsinstruments

Artikel Assessment Methoden

Suche in Medline nach

  • author Miriam Urff - Universitätsklinik Freiburg, Klinik für Psychiatrie, Psychotherapie und Psychosomatik im Kindes- und Jugendalter, Freiburg, Deutschland
  • Antonio Krüger - Asklepios Klinik Lich, Unfallchirurgie, Orthopädie, Wirbelsäulen- und Kindertraumatologie, Lich, Deutschland
  • author Steffen Ruchholtz - UKGM Standort Marburg, Zentrum für Orthopädie und Unfallchirurgie, Marburg, Deutschland
  • corresponding author Eva Christina Stibane - Philipps-Universität Marburg, Zentrum für Medizinische Lehre, Marburg, Deutschland

GMS J Med Educ 2021;38(3):Doc69

doi: 10.3205/zma001465, urn:nbn:de:0183-zma0014650

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2021-38/zma001465.shtml

Eingereicht: 31. März 2020
Überarbeitet: 14. Juli 2020
Angenommen: 21. September 2020
Veröffentlicht: 15. März 2021

© 2021 Urff et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Einleitung: Es konnte gezeigt werden, dass kommunikative Fähigkeiten, die während des Medizinstudiums erworben werden, von großer Wichtigkeit sind. Daher wird in vielen Ländern Kommunikation, als Teil des Curriculums des Medizinstudiums, zu lehren gefordert.

Um den Lernfortschritt von Studierenden zu beurteilen, sollte das „Eingehen auf den Patienten“ als ein Aspekt von Empathie evaluiert werden. Da es keine Beschreibung eines validierten Instruments gab, das für diesen Zweck genutzt werden konnte, musste ein solches entwickelt werden. Das Ziel dieser Abhandlung ist, den Entwicklungsprozess des Instruments und seine psychometrischen Eigenschaften zu beschreiben.

Methoden: Basierend auf dem Calgary-Cambridge Observation Guide (CCOG), wurden Items, die das Eingehen auf den Patienten beschreiben, ausgewählt und modifiziert. Kognitive Pretest-Interviews wurden durchgeführt um die Verständlichkeit zu überprüfen. Dafür bewerteten 7 Rater jeweils 1 Video (R=7, V=1). In einer darauffolgenden Pilotstudie (R=3, V=10) wurden das erste Mal die psychometrischen Eigenschaften evaluiert und notwendige Verbesserungen am vorläufigen Bewertungsbogen durchgeführt, bevor der finale Bewertungsbogen genutzt wurde, um die Fähigkeiten von Studierenden bezüglich des Eingehens auf den Patienten zu bewerten und die psychometrischen Eigenschaften detailliert zu beschreiben (R=2, V=35).

Ergebnisse: Der finale Bewertungsbogen „Eingehen auf den Patienten – Marburger Bewertungsbogen“ beinhaltet 11 Checklisten-Items und zwei Globalbewertungen (Items 12 und 13). In der abschließenden Evaluation wieß die Interrater-Reliabilität (IRR) Werte zwischen 0 und 0,562 auf, der Median lag bei r=0,305. Bezüglich Item 13 (eine Globalbewertung) wurden 88,6% der Videos mit maximal einem Punkt Differenz bewertet. Die Interne Konsistenz war sehr hoch (Cronbach’s α: α=0,937 und α=0,962); die Korrelation zwischen den Checklist-Items und der Globalbewertung war hoch (Pearson’s r: r=0,856 und r=0,898).

Diskussion: Der Bewertungsbogen „Eingehen auf den Patienten“ ist geeignet Feedback zu geben sowie zur Nutzung in formativen Prüfungen. Der Einsatz in summativen Prüfungen kann erwogen werden. Weitere Untersuchungen sollten evaluieren, ob mit einer dreistufigen Likert-Skala höhere Kennwerte erreicht werden könnten und ob Item 13 als alleiniges Item genutzt werden könnte.

Schlüsselwörter: Instrument, Kommunikation, Empathie, Kommunikationscurriculum, Medizinische Ausbildung


1. Einleitung

Geschätzt führen Ärzt*innen rund 200.000 Patientengespräche während Ihrer Berufstätigkeit durch [1]. Schon durch eine gründliche Anamneseerhebung können 70% aller Erkrankungen korrekt diagnostiziert werden, mit einer zusätzlichen körperlichen Untersuchung 90% [2]. Allein diese Daten zeigen die große Bedeutung der Kommunikation in der Medizin.

Darüber hinaus hat die Veränderung von einer paternalistischen zu einer Patienten-zentrierten Arzt-Patientenbeziehung in der zweiten Hälfte des 20. Jahrhunderts zu veränderten Erwartungen an die ärztliche Kommunikation geführt [3].

Ärzt*innen können ihre kommunikativen Fähigkeiten verbessern. Wenn Ärzt*innen, an einem einmonatigen [4] oder zweieinhalb-tägigen-Kurs teilnahmen, verbesserten sich ihre kommunikativen Fähigkeiten [5]. Diese Fähigkeiten können schon während des Medizinstudiums erworben werden [6]. Es konnte sogar gezeigt werden, dass die während des Studiums erworbenen kommunikativen Fertigkeiten von enormer Bedeutung sind [7]. Viele Länder haben in ihre Medizin-Curricula die Lehre von Kommunikation aufgenommen. In Kanada zum Beispiel ist sie Bestandteil des Kompetenz-Bezugsrahmens für Ärzt*innen CanMEDS [8] und in Deutschland der Ärztlichen Approbationsordnung [https://www.gesetze-im-internet.de/_appro_2002/].

Häufig werden Fragebögen für den Unterricht und die Evaluation studentischer Kommunikationsfähigkeiten eingesetzt. Es gibt viele Instrumente, um diese Fähigkeiten zu messen [9], [10], [11], [12]. Die meisten von ihnen fokussieren auf verschiedene Gesprächsphasen. Norfolk et al. sehen Empathie als Schlüssel-Aspekt für einen gelingenden Beziehungsaufbau an [13]. Deshalb sei sie eine Kernkompetenz in der Arzt-Patienten-Kommunikation. Gleichzeitig ist bekannt, dass Empathie während des Studiums und der Weiterbildung abnimmt, was ihre Förderung in der medizinischen Ausbildung umso wichtiger macht [14].

Im Kontext des Unterrichts kommunikativer Fertigkeiten und Empathie diskutierten die Verantwortlichen für das Kommunikationscurriculum im Marburger Skills-Lab, dass es sinnvoll wäre, die Fähigkeit der Studierenden, auf Patienten einzugehen zu evaluieren und zu fördern. Diese ist nicht gleichzusetzen mit Empathie, zeigt aber eine große Überschneidung. Das Eingehen auf Patienten nimmt die Aktivität und das Verhalten mehr in den Blick, die Empathie eher die Grundeinstellung.

Der Calgary-Cambridge Observation Guide (CCOG) ist ein von S. Kurtz und J. Silverman entwickeltes Messinstrument für die Lehre und Evaluation von Kommunikationsfähigkeiten von Studierenden. In der Langversion umfasst es 73 Items in sieben Kategorien: Gesprächseröffnung, Informationssammlung, Strukturierung, Beziehungsgestaltung, Erklären und Planen, Gesprächsabschluss, zusätzliche Möglichkeiten bezüglich Erklären und Planen. Die Kurzversion ist gleichermaßen strukturiert. Der CCOG ist ein ausführlich beschriebenes [1], [15], [16] und häufig genutztes Instrument [17], [18], [19], [20], das viele Aspekte der Arzt-Patienten-Kommunikation adressiert, einschließlich, aber nicht nur des Aspektes des „Eingehens auf Patienten“.

Da ein passendes Messinstrument für die Evaluation des Aspektes „Eingehen auf Patienten“ nicht gefunden wurde und auch Julie M. Schirmer, Autorin von „Assessing Communication Competence: A Review of Current Tools“ [10] keines kannte, sollte ein Instrument entwickelt werden.

Das Ziel der vorliegenden Arbeit war es, ein Messinstrument zu entwickeln, das den Aspekt des Eingehens auf Patienten als Kernkompetenz der Arzt-Patienten-Kommunikation beschreibt. Es sollte einfach und zeiteffizient in der Anwendung sein sowie gute psychometrische Eigenschaften besitzen. Dafür musste das neu entwickelte Instrument hinsichtlich dieser Eigenschaften untersucht werden.


2. Methoden

Das Messinstrument „Eingehen auf Patienten“ wurde in einer deutschen Fassung entwickelt und untersucht. Für die Veröffentlichung wurde das Instrument ins Englische übersetzt.

Wie in Abbildung 1 [Abb. 1] zu sehen ist, wurde, basierend auf dem CCOG, ein erster Bogen als Entwurfsfassung zusammengestellt. Daraufhin wurden kognitive Interviews durchgeführt. Für diesen Zweck sahen sich sieben Personen jeweils ein unterschiedliches Video an (R=7, V=1) und wurden zur Formulierung und zum Verständnis der Items befragt. Anschließend wurden notwendige Anpassungen vorgenommen und im nächsten Schritt das Instrument in einer Pilot-Studie untersucht: drei Rater sahen sich jeweils die selben zehn Videos an (R=3, V=10). Erneut wurde das Instrument überarbeitet, bevor es für die Erfassung der Fähigkeit der Studierenden, auf Patienten einzugehen, eingesetzt wurde. Hierfür sahen zwei Rater jeweils die gleichen 35 Videos von ärztlichen Beratungsgesprächen an und bewerteten diese mithilfe des Instruments. Die gewonnenen Daten wurden für die detaillierte Beschreibung der psychometrischen Eigenschaften ausgewertet. In jeder Phase wurden verschiedene Personen als Rater eingesetzt.

Die Ethik-Kommission der Philipps-Universität genehmigte die Studie (AZ:22/13) und alle Teilnehmer*innen gaben ihr Einverständnis.

2.1. Der Aufbau des Bewertungsbogens in der Entwurfsfassung

Der Aufbau des Bewertungsbogens sowie die Entscheidung einzelne Items aufzunehmen, wurde in einem Diskussionsprozess zwischen einer erfahrenen studentischen Tutorin, der Skills Lab-Leiterin und einem Methodiker und Experten für Fragebogenentwicklung erarbeitet. Umstrittene Entscheidungen wurden mit der für das Kommunikationscurriculum verantwortlichen Skills Lab-Teamleitung diskutiert.

Basierend auf der 73 Items umfassenden Langversion des CCOG [15] wurden zunächst alle 24 Items eingeschlossen, die die Arzt-Patienten-Beziehung und das Zeigen von Empathie betreffen (Items 6, 10, 12 ,14, 15, 17, 18, 23 - 32, 42, 43, 45, 46, 64, 66, 71). Daran anschließend wurden alle Items, die ein Verhalten beschreiben, das nicht wesentlich für das Eingehen auf Patienten ist, ausgeschlossen (Items 6, 17, 18, 24, 25, 26, 28, 30, 31, 46, 64). Dies, um Studierende nicht schlechter zu bewerten, die aufgrund der beobachteten Situation, die entsprechenden Verhaltensweisen nicht zeigen könnten. Items, die sich auf sehr ähnliche Verhaltensweisen bezogen, wurden verbunden (Items 12 und 45, 14 und 42). Item 24 wurde ausgeschlossen, da Studierende in Beobachtungssituationen im Unterricht kaum Notizen machen oder einen Computer benutzen. Item 45 wurde in zwei Items geteilt und modifiziert, um doppelte Stimuli inerhalb eines Items zu vermeiden. Einige Items wurden nach kleinen Veränderungen eingeschlossen (Items 10, 23, 29, 32, 42, 66, 71); zum Beispiel wurde bei Item 23 die Erläuterung in Klammern gesetzt. Die Items wurden für ein Fragebogen-Format formuliert: Der Student zeigt ein beschriebenes Verhalten. Zu guter letzt wurde eine Globalbewertung angefügt (“Student geht insgesamt sehr gut auf den Patienten ein”).

Die Entwurfsfassung des Bewertungsbogens bestand aus 11 Items und einer abschließenden Globalbewertung aus der Beobachterperspektive.

Bezüglich der Bewertung wurde entschieden, eine Likert-Skala und zusätzlich kurze Beschreibungen für jeden Punkt („trifft voll und ganz zu“ bis „trifft gar nicht zu“) zu nutzen. Eine Literaturrecherche bezüglich der Anzahl der Stufen zur Bewertung des CCOG zeigte, dass Fünfstufige [12], [21] und Dreistufige [1], [22] genutzt worden waren. Eine fünfstufige Likert-Skala wurde gewählt, um differenzierter zwischen den verschiedenen Niveaus des Eingehen auf den Patienten unterscheiden zu können.

2.2. Kognitive Pretest-Interviews

Qualitative kongnitive Interviews für den Pretest wurden durchgeführt um Probleme in der Formulierung der Items oder der Antwortkategorien zu identifizieren [23]. Sieben Studierende, die als Tutor*innen im Skills Lab arbeiteten wurden gebeten, jeweils ein anderes auf Video aufgenommenes Arzt-Patientengespräch von Studierenden und Schauspielpersonen (SP) anzusehen und mittels Bewertungsbogen zu bewerten. Sie wurden gefragt, wie sie die Items verstanden, warum sie ihre Antwort so wählten, ob sie Probleme im Verständnis von Items hatten und ob ihnen ein Aspekt des Eingehens auf den Patienten fehlte. Auch wurde gefragt, ob eine Antwortkategorie „nicht beantwortbar“ möglich sein sollte. Aus Praktikabilitätsgründen wurden bereits existierende Videos verwendet, obwohl es anhand dieser nicht möglich war, zwei Items zu bewerten: diese betrafen die körperliche Untersuchung und den Gesprächsabschluss, die Aufnahme endete nach 8 Minuten und beinhaltete keine körperliche Untersuchung. Dennoch waren die Videos geeignet, denn die Themen des Gesprächs behandelten Tabu-Themen (Partnerschaft und Sexualität) und erforderten ein hohes Maß an Eingehen auf den Patienten bzw. die Patientin und Beziehungsaufbau. Das Thema der ärztlichen Konsultation war die Verschlechterung der Symptomatik einer Autoimmunerkrankung. Die Ärzt*in kann – bei einfühlsamer Gesprächsführung – vom Patienten erfahren, dass dieser das verordnete Cortison-Präparat nicht einnimmt, wegen der damit verbundenen Nebenwirkungen und den Auswirkungen auf sein Leben und seine Gefühlswelt. Ursprünglich waren die Videos aufgenommen worden für eine Studie, die schwierige Themen der Arzt-Patienten-Kommunikation behandelte.

2.3. Die Pilot-Studie

Die bereits zuvor genutzten 10 Videos wurden nun von drei verschiedenen Personen angesehen und mit Hilfe des Instruments bewertet. Zwei von ihnen waren Tutor*innen des Skills Labs, der dritte ein Experte, der das Instrument mitentwickelt hatte.

Die Intraklassen-Korrelation (ICC), die den Grad an Übereinstimmung zwischen zwei und mehr Ratern abbildet wurde genutzt, um die Interrater-Reliabilität (IRR) zu messen. r, als Koeffizient der ICC, ist begrenzt auf ein Intervall von -1 bis +1. Da die Reliabilität durch Werte zwischen 0 und +1 angegeben wird, bedeuten negative Werte der ICC eine Reliablität von 0 [24]. Dabei stehen Werte von 0,25<r<0,5 für eine moderate Übereinstimmung und r>0,5 für eine hohe Übereinstimmung [25]. Alle Items mit einer Reliabilität von r<0,25 wurden im Anschluss an die Pilot-Studie überarbeitet.

2.4. Der Einsatz des Instruments und seine statistische Analyse

Im letzten Schritt wurde das Instrument eingesetzt um die Fähigkeit der Studierenden, auf Patienten einzugehen, zu messen und das Instrument anhand einer größeren Stichprobe zu validieren. Zu diesem Zweck bewerteten zwei Rater 35 Videos. Einer war Assistenzarzt der Anästhesiologie, der andere Assistenzarzt der Kinder- und Jugendpsychiatrie und Psychotherapie. Die Videos waren im Zusammenhang mit einer Studie aufgenommen worden, die die Lerneffekte des Unterrichts in herausfordernden ärztlichen Gesprächssituationen untersuchte. Jedes der Videos zeigte die Interaktion zwischen einer/einem Studierenden und einer Simulationsperson. Die Aufgabe für die Studierenden war jedes Mal, den Grund für die Vorstellung im Krankenhaus zu erkennen (einschließlich Anamneseerhebung und körperlicher Untersuchung) und den Patienten bzw. die Patientin über das weitere Vorgehen zu informieren. Der Anlass des Termins waren Symptome, die das Vorhandensein eines Bronchial-Carcinoms nahelegen. Die Patient*innen möchten ihre Todes-Ängste mit der Ärzt*in besprechen. Das zugrundliegende pädagogische Thema der Gesprächssituation ist das Eingehen auf einen Patienten, seine Bedürfnisse, Äußerungen und Andeutungen. Die Videos sind etwa 20 Minuten lang.

Erneut wurde die IRR berechnet um zu ermitteln, ob die Veränderungen des Instruments infolge der Pilot-Studie zu den gewünschten Effekten geführt hatten. Zum Vergleich, wurde die ICC ein weiteres Mal verwendet. Zusätzlich wurde verglichen wie häufig die Assistenzärzte das Item 13 gleich bewerteten. Die prozentuale Übereinstimmung sowie prozentuale Differenz in ein, zwei, drei oder vier Punkten wurde berechnet. Die Interne Konsistenz wurde mit Cronbachs Alpha beschrieben [26]. Alpha kann zwischen -∞ und +1 variieren; idealerweise erreicht es Werte um 0,9 [27]. Um darzustellen, ob die Bewertung des Globalen Bewertungsitems 13 die Items 1 bis 11 repräsentiert, wurde ein Index gebildet. Dieser Index berechnete sich auf der Basis des Mittelwertes jedes Items von 1 bis 11. Dann wurde die Korrelation zwischen diesem Index und dem Item 13 berechnet. (Für die Berechnung des Index wurde das Item 12, das eine Globalbewertungen aus Patientenperspektive ist, nicht einbezogen).


3. Ergebnisse

Die Ergebnisse der kognitiven Interviews, die darauffolgenden Anpassungen, die Pilotstudie und ihre anschließenden Änderungen in zwei Items führten zum Bewertungsbogen „Eingehen auf den Patienten – Marburger Bewertungsbogen“, vorgestellt in Abbildung 2 [Abb. 2]. Seine psychometrischen Eigenschaften wurden in einer statistischen Analyse berechnet.

3.1. Ergebnisse der Kognitiven Pretest Interviews

Als Ergebnis der koginitiven Pretest-Interviews wurden geringfügige Veränderungen in der Formulierung der Items vorgenommen. Darüber hinaus wurde ein weiteres Item eingefügt, eine globale Bewertung aus Patientenperspektive. Es wurde als Item 12 hinter den Items, die verschiedene Verhaltensweisen adressierten und vor dem Item der globalen Bewertung aus der Beobachterperspektive, integriert.

Im Pretest zeigte sich, dass Items, die bewertet werden konnten, häufig nicht bewertet wurden, wenn die Antwortkategorie „nicht bewertbar“ zur Wahl stand.

3.2. Ergebnisse der Pilotstudie

In der Pilotstudie wurde die ICC berechnet um die IRR zu bestimmen. Die Ergebnisse finden sich in Tabelle 1 [Tab. 1].

Die Items 8 und 11 konnten nicht bewertet werden, da keine körperliche Untersuchung stattgefunden hatte und das Gespräch nach 8 Minuten gestoppt worden war. Die Items 5, 6, 12 und 13 zeigten eine moderate Korrelation zwischen den Bewertern, die Items 1, 4, 7, 9 und 10 eine hohe Korrelation. Wegen ihrer guten Reliabilität wurden diese Items nicht mehr verändert. Die Items 2 und 3 zeigten eine Reliabilität von 0, deshalb wurden sie überarbeitet. Diese beiden Items hatten sich je auf zwei Aspekte bezogen, was der Grund für ihre schlechte Reliabität sein konnte.

Item 2 lautete ursprünglich „Student formuliert Fragen und Kommentare genau und leicht verständlich (vermeidet Fachsprache oder erklärt diese gut)“ und wurde geändert in „Student formuliert Fragen und Kommentare leicht verständlich (vermeidet Fachsprache oder erklärt diese gut)“. Der Wortlaut des Items wurde dahingehend geändert, dass nur bewertet werden sollte, ob Fragen leicht verständlich formuliert worden waren. Damit wurde bereits auf das Verständnis der Patient*in ausreichend Bezug genommen.

Auch das Item 3 musste modifiziert werden. Das Item lautete zuvor: „Student macht deutlich, dass er die Gefühle des Patienten und seine Lage einfühlend versteht (z.B. durch Verbalisieren, Paraphrasieren)“ und wurde geändert in „Student macht deutlich, dass er die Gefühle des Patienten und seine Lage einfühlend versteht“. Es war berichtet worden, dass die Beispiele in Klammern die Bewertung eher erschwerten; sie wurden deshalb entfernt.

3.3. Beschreibung des Bewertungsbogens “Eingehen auf den Patienten”

Der Bewertungsbogen, der für die endgültige Datenerhebung genutzt wurde, wird in Abbildung 2 [Abb. 2] gezeigt. Er beinhaltet 13 Items von denen 11 verschiedene Verhaltensweisen beschreiben und zwei Globalbewertungen aus der Patienten- bzw. Beobachterperspektive. Die Items wurden mittels einer 5-Punkte-Likert-Skala bewertet, die definiert sind als 1=trifft voll und ganz zu, 2=trifft eher zu, 3= tells/teils, 4= trifft eher nicht zu und 5=trifft gar nicht zu.

Die 11 Items des Bogens beinhalten

1.
aufmerksames Zuhören,
2.
leicht verständliche Formulierungen,
3.
einfühlendes Verstehen,
4.
Aufgreifen und Eingehen auf verbale Hinweise,
5.
Aufgreifen und Eingehen auf nonverbale Hinweise,
6.
nonverbal angemessenes Verhalten,
7.
sensibles Reagieren,
8.
Erklärung der Handlungen während der körperlichen Untersuchung,
9.
Bezug auf die Sichtweise des Patienten,
10.
Berücksichtigung des sozialen und kulturellen Hintergrunds und
11.
Beendigung des Gesprächs im Einvernehmen.

Die beiden globalen Bewertungen sind aus der Patientenperspektive („Patient fühlt sich gut aufgehoben und verstanden“) formuliert und aus der Beobachterperspektive („Student geht insgesamt sehr gut auf den Patienten ein“).

3.4. Abschließende statistische Analyse

Die Analyse der psychometrischen Eigenschaften im endgültigen Bewertungsbogen schloss die Berechnung des IRR, die Übereinstimmung der Bewerter in Item 13, die interne Konsistenz sowie die Korrlation des Index mit Item 13 ein.

Die Ergebnisse des ICC (siehe Tabelle 2 [Tab. 2]), ausgedrückt in der IRR liegt zwischen r=-0.153 bis r=0.562. Der Median liegt bei r=0.305. Die Reliabilität der Items 2, 6 und 10 ist hoch. Die Items 1, 4, 5, 7, 11 ind 13 zeigen eine moderate Reliabilität. Das Item 3 zeigt eine nur geringe Reliabilität und die Items 8, 9 und 12 zeigen eine Reliabilität von r=0.

Tabelle 3 [Tab. 3] zeigt die Ergebnisse der Übereinstimmung im Item 13. Alle Videos die von Rater 1 mit 1 bewertet wurden, sind in Zeile 1 dargestellt. Die Spalten zeigen, wie Rater 2 diese Videos bewertete. Es wurden also fünf Videos mit einer 1 von beiden Bewertern bewertet. Zwei Videos wurden mit einer 1 von Rater 2 und einer 2 von Rater 1 bewertet. 45,7% (N=16) der Videos wurden von beiden Ratern gleich bewertet und in 42,9% der Bewertungen liegen beide Bewertungen nur einen Punkt auseinander (N=15). Zwei Punkte auseinander liegen 8,6% (N=2), eine drei-Punkte-Differenz weisen 2,9% (N=1) der Videos auf.

Tabelle 4 [Tab. 4] führt die Mittelwerte des Index und des Items 13 auf sowie Pearson’s r, um die Korrelation zu beschreiben. Die Korrelation zwischen dem Index und Item 13 für den Rater 1, Pearson’s r berechnend, ist r=0.856 und für den Rater 2 r=0.898. Die Siginifikanz für beide Werte ist p<0.001. Dies zeigt eine hohe Korrelation zwischen den Items 1 bis 11 und Item 13.


4. Diskussion

Der CCOG ist ein weit verbreitetes Instrument in der Lehre [18] und zum Messen von Kommunikationskompetenz [17], [19], [20]. Die kurze Version des CCOG wurde ins Deutsche übersetzt und von einer deutschen Forschergruppe untersucht. Die Reliabilität und Validtät sind gut, weshalb sie geeignet ist, die kommunkativen Fähigkeiten von Studierenden der Medizin zu evaluieren [16].

Der Zweck der vorliegenden Studie war es, einen Bewertungsbogen zu entwickeln, der die Fähigkeit der Studierend auf den Patienten einzugehen misst. Das Instrument sollte einfach zu nutzen und zeitlich effizient sein. Ferner sollten seine psychometrischen Eigenschaften gut sein.

4.1. Wahl der Antwortkategorien

Simmenroth-Nayda et al. nutzten eine dreistufige Likert-Skala in ihrem Pretest, änderten sie dann jedoch in eine fünfstufige Likert-Skala, da der Pretest Probleme bei der Bewertung zeigte, die zu dieser Änderung führte [16]. Auf der anderen Seite wäre es möglich gewesen durch eine dreistufige Likert-Skala höhere Werte der IRR zu erreichen [28]. In Zukunft sollte entschieden werden, ob eine höhere IRR notwendig erscheint und in diesem Fall eine dreistufige Likert-Skala genutzt werden könnte. Wenn allerdings eine differenziertere Bewertung notwendig ist (z.B. um Feedback zu geben), sollte eine fünfstufige Likert-Skala genutzt werden.

Wie in 2.1 beschrieben, wurde sich hier für eine fünfstufige Likert-Skala entschieden.

4.2. Statistische Analyse

Die statistische Analyse legt nahe, dass der Bewertungsbogen für die Lehre und formative Prüfungen genutzt werden kann. Für summative Prüfungen kann er empfohlen werden, allerdings sollte bedacht werden, dass manche Ergebnisse nur im moderaten Bereich liegen.

Die Ergebnisse der Pilotstudie zeigten, dass die Reliabilität der Items 2 und 3 bei 0 liegt. Bei der Berechnung der ICC in der finalen Bewertung, zeigten diese Items einen ICC-Koeffizienten von r=0,562 für Item 2 and r=0,205 für Item 3. Diese Ergebnisse legen nahe, dass die Veränderungen, insbesondere für Item 2, effektiv waren. Beide Berechnung der IRR zeigten moderate Werte für die Mediane; in der Pilotstudie lag der Median bei m=0,471, in der abschließenden Analyse bei m=0,305. Es ist möglich, dass mit einer dreistufigen Likert-Skala höhere Werte hätten erreicht werden können [28]. Eine deutsche Evaluation der kurzen Version des CCOG zeigte ähnliche Ergebnisse wie die in dieser Publikation diskutierten [16]. Sie berichteten von IRR-Koeffizienten zwischen 0,05 und 0,57.

Eine andere Möglichkeit um die Reliabilität zu verbessern, wäre ein Ratertraining durchzuführen [29]. Obwohl Ratertrainings variieren und in manchen Fällen die Rater nur per E-Mail Informationen erhalten [30], wurde entschieden, kein Ratertraining durchzuführen. Die Entscheidung wurde getroffen, da ein Training, auch wenn es nur in digitaler Art und Weise durchgeführt wird, Zeit benötigt, was den Zielen eines einfachen und zeitlich effizienten Bewertungsbogen widerspricht. Zusätzlich findet häufig kein Ratertraining statt, wenn Fragebögen wie dieser außerhalb des Rahmens einer Studie genutzt werden. Deshalb sollte die vorausgehende Studie ebenfalls ohne ein Ratertraining durchgeführt werden.

Bezüglich Item 13 wurden 45,7% der Videos von beiden Ratern gleich bewertet, während 42,9% der Videos mit einem Punkt unterschied bewertet wurden. Daraus ergibt sich, dass 88,6% der Videos mit nicht mehr als einem Punkt Unterschied bewertet wurden. Ob dies akzeptabel ist, hängt vom Einsatzzweck ab. Für formative Prüfungen und Feedback erscheint es geeignet. Vor dem Einsatz in einer summativen Prüfung sollte man berücksichtigen, ob die Bewertung alleine oder kombiniert mit Bewertungen anderer Bewertungsinsturmente genutzt werden soll.

Um komplexe Fertigkeiten wie Kommunikation zu bewerten, sind Globalbewertungen besser geeignet als Checklisten [30], [31]. In dieser Evaluation konnte gezeigt werden, dass die Korrelation zwischen den Checklisten-Items (Items 1 bis 11) und der Globalbewertung (Item 13) sehr hoch ist (r1=0,856, r2=0,898). Zusätzlich wurden exzellente Werte für die Interne Konsistenz erreicht (α1=0,937, α2=0,926). Auf Grundlagen der Daten könnte geschlussfolgert werden, dass Item 13 als einziges Item ausreichend wäre, um das Eingehen auf den Patienten zu bewerten. Auf der anderen Seite schulen die Checklisten-Items vermutlich den Rater bezüglich der Bewertungskriterien, bevor die Globalbewertungen gegeben wird. Daher bedarf es weiterer Untersuchungen, ob Item 13 als alleiniges Item für summative Prüfungen geeignet ist. Für formative Prüfungen können die Items genutz werden, um detailreiches Feedback zu geben.

4.3. Limitationen

Betrachtet man die Einschränkungen, muss man zunächst auf die kleinen Stichproben hinweisen. Schon während der Pilotstudie hätte eine größere Datenmenge geholfen, die Items zu verbesseren. Insbesondere wäre es ratsam gewesen eine zweite Pilotstudie durchzuführen um herauszufinden, ob die durchgeführten Veränderungen effektiv waren. In der finalen statistischen Analyse wäre es von Vorteil gewesen die Daten einer größeren Anzahl von Ratern zu integrieren, um bessere Werte für die IRR zu erhalten. Wäre die Anzahl der Videos höher gewesen, wäre die statistische Analyse solider ausgefallen.

Eine weitere Einschränkung ist das Ziel das „Eingehen auf den Patienten“ zu messen. Die Entscheidung dieses Konzept zu beurteilen, entwickelte sich aus praktischen Bedürfnissen, obwohl es als gute wissenschaftliche Praxis gilt, ein Konstrukt auf Grundlage von theoretischen Überlegungen oder Literaturrecherche zu wählen. Darüber hinaus gab es keine konzeptuelle Vorgängerstudie, weshalb das Konstrukt nicht gut definiert war. Daher wurde auch keine klare Differenzierung zwischen Empathie, Beziehungsaufbau und Eingehen auf den Patienten getroffen. Andererseits ist es ein Vorteil ein Instrument zu nutzen, das auf praktischen Bedürfnissen basiert.

In der Studie wurden aus praktischen Gründen nur Videos, in denen Gespräche zwischen Studierenden und SPs aufgezeichnet waren, bewertet. Es könnte sein, dass die Beobachtung eines direkten Kontaktes zwischen echten Patient*innen und Studierenden andere Ergebnisse zeigen würde. Es wird davon ausgegangen, dass die Unterschiede zwischen SPs und richtigen Patient*innen klein sind, wenn die SPs gut schauspielen. Der Unterschied zwischen auf Video aufgenommenen Begegnungen und direkten Begegnungen ist schwierig abzuschätzen, da es zu Unterschieden kommen kann, in dem was Rater beobachten können, wie z.B. die Gestik, die Mimik wie auch die Atmosphäre zwischen den beiden Parteien. In dieser Studie war es den Ratern nicht gestattet Szenen oder Videos erneut anzusehen, da dies vermutlich zu einem Unterschied im Vergleich zu einer direkten Bewertung geführt hätte. Zusätzlich wäre bei einer Verwendung außerhalb des Rahmens einer Studie vermutlich nicht genügend Zeit, die Videos oder auch nur Teile davon, mehrfach anzusehen.

Das Ziel war, einen Bewertungsbogen zu entwickeln, der einfach zu nutzen ist. Dennoch ist es nowendig sich einige Minuten Zeit zu nehmen um mit den Items vertraut zu werden bevor das Gespräch beobachtet wird. Da es fundamental ist, das gesamte Gespräch zu beobachten, bevor die Bewertung vorgenommen wird, wird im Anschluss erneut Zeit benötigt, um die Bewetung durchzuführen. Um das Instrument möglichst zeiteffizient zu gestalten, wurden die Daten, die aus dieser Studie gewonnen wurden, ohne Ratertraining generiert.

Eine weitere Einschränkung ergibt sich bezüglich der Sprache. In dieser Studie wurde die Validierung anhand einer deutschen Version durchgeführt. Die Übersetzung ins Englische erfolgte nur für die Veröffentlichung. Zusätzlich wird empfohlen verschiedene Schritte während des Übersetzungsprozess, wie z. B. eine Rückübersetzung und diverse Überprüfungen, durchzuführen [32]. In desem Fall wurde der Bewertungsbogen von der Autorin und einem Englischmuttersprachler, beide mit exzellenten Kenntnissen der anderen Sprache, ohne weiteren Übersetzungsprozess übersetzt.

4.4. Ausblick

Zukünftige Studien könnten analysieren, ob die Bewertung des „Eingehens auf den Patienten“ durch Patient*innen oder SPs mit der Bewertung einer nicht beteiligten beobachtenden Person korreliert. Hierfür kann Item 12 (Globalbewertungen aus Patienten Perspektive) genutzt werden.

Dieser Bewertungsbogen kann zukünftig in einem breiten Feld eingesetzt werden. Wie oben beschrieben, kann das Instrument in der Lehre eingesetzt werden sowie in Prüfungen, wobei dabei bedacht werden sollte, dass die Verwendung in summativen Prüfungen kritisch geprüft werden muss. In dieser Studie wurde er nur genutzt, um auf Video aufgenommenene Situationen zu bewerten, es ist jedoch auch vorstellbar, dass er ebenfalls in direkten Beobachtungen eingesetzt wird. Es wird angenommen, dass er in allen Stufen der medizinischen Ausbildung eingesetzt werden kann. Er wurde in zwei Situationen während des Studiums [Vorklinik und Klinik] (Pilotstudie und abschließende statistische Analyse) überprüft, aber ein Einsatz im Bereich der Weiterbildung ist ebenfalls vorstellbar.

Wahrscheinlich werden die Meisten zunächst an einen Einsatz des Bewertungsbogens in einem Fach, in dem der Fokus Kommunikation mit Patient*innen liegt, denken. Er kann jedoch auch in anderen Fächern angewandt werden. Die Themen der Gespräche, in den aufgenommenen Videos der finalen statistischen Analyse, standen im Zusammenhang mit der Lehre in der Chirurgie. Obwohl der Bogen in allen Situationen angewandt werden kann, ist vermutlich am hilfreichsten, ihn im Training oder der Prüfung von fordernden Gesprächssituationen einzusetzen.


5. Zusammenfassung

Die psychometrischen Eigenschaften des Bewertungsbogens „Eingehen auf den Patienten – Marburger Bewertungsbogen“ legen nahe, dass er gut für die Lehre und formative Prüfungen genutzt werden kann. Seine Anwendung in summativen Prüfungen kann in Erwägung gezogen werden. Nichtsdestotrotz sollte evaluiert werden, ob eine dreistufige Likert-Skala höhere Werte der IRR erreichen könnte. Darüber hinaus wäre es interessant zu untersuchen, ob Item 13 als eigenständiges Item genutzt werden könnte, da dies kontrovers diskutiert wird.


Danksagung

Wir danken allen Studierenden und Ratern, die zum Erfolg der Studie beigetragen haben. Besonders wollen wir Lorianna Könneker für ihre Hilfe bei der Übersetzung des Bewertungsbogens danken. Außerdem wollen wir die finanzielle Unterstützung der Abteilung für Allgemeinmedizin der Philipps-Universität anerkennen, die es möglich machte, dass die Rater eine Aufwandsentschädigung erhalten konnten; dem Förderverein Maris e.V., der die Kosten des Proofreading Services übernahm und dem Skill-Lab „Maris“ selbst für die Übernahme der Löhne der Tutoren danken wir.


Steckbrief

Name des Standorts: Philipps-Universität Marburg

Studienfach/Berufsgruppe: Medizin

Anzahl der Lernenden pro Jahr: 350 p.a.

Ist ein longitudinales Kommunikationscurriculum implementiert? Ja

In welchen Semestern werden kommunikative und soziale Kompetenzen unterrichtet? 1, 2, 5, 6, 7, 8, 9, (PJ)

Welche Unterrichtsformate kommen zum Einsatz? Seminare, praktische Übungen, SP-Einsatz/Simulation

In welchen Semestern werden kommunikative und soziale Kompetenzen geprüft? Formativ: 2 und 9, bestehensrelevant und benotet 5 und 6

Welche Prüfungsformate kommen zum Einsatz? Rollenspiel+Videofeedback, OSCEs mit SP

Wer (z.B. Klinik, Institution) ist mit der Entwicklung und Umsetzung betraut? Interdisziplinäres Skills Lab in Kooperation mit Fächern/Instituten


Aktuelle berufliche Rolle der Autor*innen

  • Dr. med. Miriam Urff studierte Medizin in Marburg und ist Assistenzärztin am Universitätsklinikum Freiburg, Klinik für Psychiatrie, Psychotherapie und Psychosomatik im Kindes- und Jugendalter. Sie war drei Jahre lang studentische Tutorin im Marburger interdisziplinären Skills Lab und promovierte mit einem Projekt zur ärztlichen Gesprächsführung in der Chirurgie.
  • Prof. Dr. med. Antonio Krüger ist Chefarzt der Klinik für Unfallchirurgie, Orthopädie, Wirbelsäulen- und Kindertraumatologie an der Asklepios Klinik in Lich. Er war langjähriger Oberarzt an der Universitätsklinik Marburg, PJ- und Lehrbeauftragter sowie Vertrauensdozent. Er ist überzeugt davon, dass die Lehre interdisziplinär – zum Beispiel durch Lernzentren – verbessert werden kann.
  • Prof. Dr. med. Steffen Ruchholtz ist seit 2015 geschäftsführender Direktor am Zentrum für Orthopädie und Unfallchirurgie am Universitätsklinikum Marburg. Als Sprecher des Ausschusses TraumaNetzwerk der Deutschen Gesellschaft für Unfallchirurgie ist er außerdem federführend für die Umsetzung dieses Konzeptes zur Optimierung der klinischen Behandlungsqualität schwerverletzter Patienten in Deutschland verantwortlich.
  • Dr. phil. Tina Stibane leitet das Zentrum für medizinische Lehre an der Philipps-Universität Marburg. Sie koordiniert das Skills Lab Maris, betreut verschiedene Lehr-Lernprojekte und ist konzeptionell und moderierend in der Curriculumskommission tätig. Sie führt medizin-didaktische Schulungen für Dozent*innen und Tutor*innen am Fachbereich Medizin durch.

Daten

Daten für diesen Artikel sind im Dryad-Repositorium verfügbar unter: http://dx.doi.org/10.5061/dryad.qjq2bvqcw [33]


Interessenkonflikt

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Kurtz S, Silverman J, Draper J. Teaching and Learning Communication Skills in Medicine. 2nd ed. Oxford, San Francisco: Radcliffe Publishing; 2005.
2.
Schweickhardt A, Fritzsche K. Kursbuch ärztliche Kommunikation: Grundlagen und Fallbeispiele aus Klinik und Praxis; mit 15 Tabellen. 2nd ed. Köln: Deutscher Ärzte-Verlag; 2009.
3.
Berian JR, Ko CY, Angelos P. Surgical Professionalism: The Inspiring Surgeon of the Modern Era. Ann Surg. 2016;263(3):428-429. DOI: 10.1097/SLA.0000000000001425 Externer Link
4.
Smith RC, Lyles JS, Mettler J, Stoffelmayr BE, Van Egeren LF, Marshall AA, Gardiner JC, Maduschke KM, Stanley JM, Osborn GG, Shebroe V, Greenbaum RB. The effectiveness of intensive training for residents in interviewing. A randomized,controlled study. Ann Intern Med. 1998;128(2):118-126. DOI: 10.7326/0003-4819-128-2-199801150-00008 Externer Link
5.
Levinson W, Roter D. The effects of two continuing medical education programs on communication skills of practicing primary care physicians. J Gen Intern Med. 1993;8(6):318-324. DOI: 10.1007/BF02600146 Externer Link
6.
Yedidia MJ, Gillespie CC, Kachur E, Schwartz MD, Ockene J, Chepaitis AE, Snyder CW, Lazare A, Lipkin Jr M. Effect of communications training on medical student performance. JAMA. 2003;290(9):1157-1165. DOI: 10.1001/jama.290.9.1157 Externer Link
7.
Kiessling C, Dieterich A, Fabry G, Hölzer H, Langewitz W, Mühlinghaus I, Pruskil S, Scheffer S, Schubert S. Basler Consensus Statement "Kommunikative und soziale Kompetenzen im Medizinstudium": Ein Positionspapier des GMA-Ausschusses Kommunikative und soziale Kompetenzen. GMS Z Med Ausbild. 2008 Mai;25(2):Doc83. Zugänglich unter/available from: https://www.egms.de/static/de/journals/zma/2008-25/zma000567.shtml Externer Link
8.
Frank JR, editor. The CanMEDS 2005 physician competency framework Better standards. Better physicians. Better care. Ottawa: The Royal College of Physicians and Surgeons of Canada; 2005.
9.
Makoul G. Essential elements of communication in medical encounters: the Kalamazoo consensus statement. Acad Med. 2001;76(4):390-393. DOI: 10.1097/00001888-200104000-00021 Externer Link
10.
Schirmer JM, Mauksch L, Lang F, Marvel MK, Zoppi K, Epstein RM, Brock D, Pryzbylski M. Assessing communication competence: a review of current tools. Fam Med. 2005;37(3):184-192.
11.
Sennekamp M, Gilbert K, Gerlach FM, Guethlin C. Development and validation of the "'FrOCK"': Frankfurt observer communication checklist. Z Evid Fortbild Qual Gesundhwes. 2012;106(8):595-601. DOI: 10.1016/j.zefq.2012.07.018 Externer Link
12.
Simmenroth-Nayda A, Weiss C, Fischer T, Himmel W. Do communication training programs improve students' communication skills? - a follow-up study. BMC Res Notes. 2012;5:486. DOI: 10.1186/1756-0500-5-486 Externer Link
13.
Norfolk T, Birdi K, Walsh D. The role of empathy in establishing rapport in the consultation: a new model. Med Educ. 2007;41(7):690-697. DOI: 10.1111/j.1365-2923.2007.02789.x Externer Link
14.
Hojat M. Empathy in Health Professions Education and Patient Care. 1st ed. Berlin, Heidelberg: Springer; 2016. DOI: 10.1007/978-3-319-27625-0 Externer Link
15.
Silverman J, Kurtz S, Draper J. Skills for Communicating With Patients. 3rd ed. London New York: Radcliffe Publishing; 2013.
16.
Simmenroth-Nayda A, Heinemann S, Nolte C, Fischer T, Himmel W. Psychometric properties of the Calgary Cambridge guides to assess communication skills of under-graduate medical students. Int J Med Educ. 2014;5:212-218. DOI: 10.5116/ijme.5454.c665 Externer Link
17.
Bosse HM, Schultz JH, Nickel M, Lutz T, Möltner A, Jünger J, Huwendiek S, Nikendei C. The effect of using standardized patients or peer role play on ratings of undergraduate communication training: a randomized controlled trial. Patient Educ Couns. 2012;87(3):300-306. DOI: 10.1016/j.pec.2011.10.007 Externer Link
18.
Choudhary A, Gupta V. Teaching communications skills to medical students: Introducing the fine art of medical practice. Int J Appl Basic Med Res. 2015;5(Suppl 1):S41-44. DOI: 10.4103/2229-516X.162273 Externer Link
19.
Nguyen LN, Tardioli K, Roberts M, Watterson J. Development and incorporation of hybrid simulation OSCE into in-training examinations to assess multiple CanMEDS competencies in urologic trainees. Can Urol Assoc J. 2015;9(1-2):32-36. DOI: 10.5489/cuaj.2366 Externer Link
20.
Roh H, Park KH, Jeon YJ, Park SG, Lee J. Medical students' agenda-setting abilities during medical interviews. Korean J Med Educ. 2015;27(2):77-86. DOI: 10.3946/kjme.2015.27.2.77 Externer Link
21.
Ammentorp J, Thomsen JL, Jarbøl DE, Holst R, Øvrehus AL, Kofoed PE. Comparison of the medical students' perceived self-efficacy and the evaluation of the observers and patients. BMC Med Educ. 2013;13:49. DOI: 10.1186/1472-6920-13-49 Externer Link
22.
Harasym PH, Woloschuk W, Cunning L. Undesired variance due to examiner stringency/leniency effect in communication skill scores assessed in OSCEs. Adv Health Sci Educ Theory Pract. 2008;13(5):617-632. DOI: 10.1007/s10459-007-9068-0 Externer Link
23.
Schnell R, Hill PB, Elke E. Methoden der empirischen Sozialforschung. 10th ed. München, Oldenbourg: De Gruyter Oldenbourg; 2013.
24.
Wirtz M, Caspar F. Beurteilerübereinstimmung und Beurteilerreliabilität: Methoden zur Bestimmung und Verbesserung der Zuverlässigkeit von Einschätzungen mittels Kategoriensystemen und Ratingskalen. Göttingen, Bern, Toronto, Seattle: Hogrefe - Verlag für Psychologie; 2002.
25.
Kühnel SM, Krebs D. Statistik für die Sozialwissenschaften: Grundlagen, Methoden, Anwendungen. 6th ed. Reinbek bei Hamburg: Rowohlt Taschenbuch Verlag; 2012.
26.
Schmitt N. Uses and Abuses of Coefficient Alpha. Psychol Ass. 1996;8(4):350-353. DOI: 10.1037/1040-3590.8.4.350 Externer Link
27.
Kline P. The Handbook of Psychological Testing. London, New York: Routledge; 1993.
28.
Nolte C. Validität und Reliabilität eines Instruments zur Messung der Qualität der Kommunikation und seine Eignung im studentischen Unterricht. Göttingen: Georg-August-Universität zu Göttingen; 2014.
29.
Crossley J, Humphris G, Jolly B. Assessing health professionals. Med Educ. 2002;36(9):800-804. DOI: 10.1046/j.1365-2923.2002.01294.x Externer Link
30.
Scheffer S. Validierung des "'Berliner Global Rating"' (BGR) - ein Instrument zur Prüfung kommunikativer Kompetenzen Medizinstudierender im Rahmen klinischpraktischer Prüfungen (OSCE). Berlin: Charité - Universität Berlin; 2009.
31.
Newble D. Techniques for measuring clinical competence: objective structured clinical examinations. Med Educ. 2004;38(2):199-203. DOI: 10.1111/j.1365-2923.2004.01755.x Externer Link
32.
Wild D, Grove A, Martin M, Eremenco S, McElroy S, Verjee-Lorenz A, Erikson P; ISPOR Task Force for Translation and Cultural Adaptation. Principles of Good Practice for the Translation and Cultural Adaptation Process for Patient-Reported Outcomes (PRO) Measures: report of the ISPOR Task Force for Translation and Cultural Adaptation. Value Health. 2005;8(2):94-104. DOI: 10.1111/j.1524-4733.2005.04054.x Externer Link
33.
Urff M, Krüger A, Ruchholtz S, Stibane T. "Catering to the patient" - psychometric properties of an innovative assessment instrument. Dryad Digital Repository. 2021. DOI: 10.5061/dryad.qjq2bvqcw Externer Link