gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Entwicklung, Testung und Generalisierbarkeit eines standardisierten Bewertungsbogens zur Beurteilung von patientenverständlichen Berichten im künftigen abschließenden Staatsexamen des Medizinstudiums in Deutschland

Artikel Assessment Methoden

  • corresponding author Lena Selgert - Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Mainz, Deutschland
  • author Bernd Bender - Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Mainz, Deutschland
  • author Barbara Hinding - Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Mainz, Deutschland
  • author Aline Federmann - Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Mainz, Deutschland
  • author André L. Mihaljevic - Universitätsklinikum Heidelberg, Klinik für Allgemein-, Viszeral- und Transplantationschirurgie, Heidelberg, Deutschland
  • author Rebekka Post - "Was hab' ich?" gGmbH, Dresden, Deutschland
  • author Ansgar Jonietz - "Was hab' ich?" gGmbH, Dresden, Deutschland
  • author John Norcini - SUNY Upstate Medical University, Department of Psychiatry, New York, USA
  • author Ara Tekian - University of Illinois at Chicago, College of Medicine, Illinois, USA
  • author Jana Jünger - Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP), Mainz, Deutschland

GMS J Med Educ 2021;38(3):Doc71

doi: 10.3205/zma001467, urn:nbn:de:0183-zma0014672

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2021-38/zma001467.shtml

Eingereicht: 31. März 2020
Überarbeitet: 10. August 2020
Angenommen: 21. September 2020
Veröffentlicht: 15. März 2021

© 2021 Selgert et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Hintergrund: Ärzt*innen erklären ihren Patient*innen Diagnosen und Therapien oft nicht ausreichend verständlich und nachvollziehbar. Eine Verbesserung der Arzt-Patienten-Kommunikation ist daher dringend geboten. Die derzeitige medizinische Ausbildung inkl. der Prüfungen konzentriert sich auf die Vermittlung von Kompetenzen in der mündlichen Kommunikation, während die schriftliche Kommunikation mit Patient*innen bislang nur wenig Beachtung findet.

Zur optimalen Vorbereitung der Medizinstudierenden auf den Berufsstart wurde das abschließende Staatsexamen des Medizinstudiums in Deutschland vom Institut für medizinische und pharmazeutische Prüfungsfragen im Sinne von „Assessment drives learning“ neugestaltet. Künftig sollen die Prüflinge als Teil des Entlassmanagements einen Bericht für die Patient*innen erstellen, der diesen in patientenverständlicher Sprache alle relevanten Informationen über ihren Krankenhausaufenthalt zugänglich macht.

Zielsetzung: Hierfür wurde ein standardisierter Bewertungsbogen entwickelt. Mit diesem kann ein formatives und summatives Feedback zu den Kompetenzen in schriftlicher Kommunikation gegeben werden. Die Anwendbarkeit dieses Bogens sowie die Testgütekriterien, insbesondere die Reliabilität, wurden getestet.

Methodik: In einem Expertenkonsensusverfahren wurde ein erster Entwurf dieses Bewertungsbogens entwickelt. Dieser Bogen wurde nach einem ersten Probelauf mit patientenverständlichen Berichten, die von Studierenden im letzten Jahr ihres Medizinstudiums verfasst wurden, überarbeitet. Anschließend wurden 21 patientenverständliche Berichte von 14 verschiedenen Prüfenden bewertet. Die Reliabilität wurde durch die Berechnung des Generalisierungskoeffizienten und durch die Analyse der Inter-Rater-Reliabilität getestet.

Ergebnisse: Im Rahmen der ersten Testung der Bewertung von patientenverständlichen Berichten konnte die Praktikabilität und der Nutzen des Bewertungsbogens als Instrument zur Beurteilung der spezifischen schriftlichen Kommunikationsfähigkeiten von Studierenden festgestellt werden. Die Analysen der Inter-Rater-Reliabilität zeigten, dass sich der Grad der Übereinstimmung in den Bewertungen je nach Vorkenntnissen der Prüfenden im Bereich der patientenverständlichen Kommunikation teilweise unterschied. Der berechnete G-Koeffizient weist auf eine hohe Reliabilität des Bewertungsbogens hin. Die inhaltliche Validität des Bewertungsbogens konnte durch die umfassende medizinische Expertise im Entwicklungsprozess sichergestellt werden.

Schlussfolgerung: Die Bewertung der Kommunikation mit Patient*innen als Teil der neu entwickelten Prüfung am Patienten oder an der Patientin bedeutet einen Zugewinn für die medizinische Ausbildung. Regelmäßige formative Prüfungen und Feedback anhand des Bewertungsbogens können im Laufe des Studiums eingesetzt werden, um die schriftlichen Kommunikationskompetenzen künftiger Ärzt*innen zu verbessern. Darüber hinaus ist zu erwarten, dass das Verstehen von Diagnosen und Therapien sowie eine vertrauensvolle Arzt-Patienten-Beziehung Patient*innen zu mehr Teilhabe am medizinischen Entscheidungsprozess befähigt. Dies könnte künftig auch Entlassungsfehlern vorbeugen. Für den einheitlichen Gebrauch des Bewertungsbogens ist die Implementierung standardisierter Prüferschulungen erforderlich.

Schlüsselwörter: Kommunikation, Bildung, Patientenbeteiligung


1. Einleitung

Nach dem "Patientenrechtegesetz" des deutschen Bürgerlichen Gesetzbuches hat jeder*jede Patient*in das Recht, umfassend informiert zu werden [1]. Dennoch zeigen mehrere Studien, dass Ärzt*innen ihren Patient*innen Diagnosen und Therapien oft nicht verständlich und angemessen erklären. Daher ist eine Verbesserung der Arzt-Patienten-Kommunikation unerlässlich: In 22% der Fälle erhalten die Patient*innen unverständliche Antworten auf ihre Fragen und in 29% unverständliche Erklärungen ihrer Untersuchungsergebnisse durch ihre Ärzt*innen. Infolgedessen fühlen sich 39% der Patient*innen mit ihren Sorgen und Ängsten allein gelassen [2].

Wie eine zwischen Oktober 2012 und September 2013 durchgeführte Studie ergab, wurden bis zu 33% der Entlassungsfehler durch mangelhafte Kommunikation des medizinischen Fachpersonals verursacht [3]. Hierbei handelte es sich um Medikationsfehler, schlechte Wundversorgung oder unzureichende Ernährung, die zu Rehospitalisierung, lebensbedrohlichen Situationen, vermeidbaren oder unnötigen medizinischen Leistungen und Prozeduren sowie zu zusätzlichem Aufwand für die Pflegedienste und erhöhten Kosten für das Gesundheitssystem führten. Die Bereitstellung sowohl umfassender als auch schriftlicher Informationen für Patient*innen ist wichtig, um sowohl deren Therapietreue zu steigern als auch präventive Maßnahmen durchzuführen [2], [4], [5], [6], [7]. Insbesondere das Vermeiden medizinischen Fachjargons wird als sinnvolle Strategie hervorgehoben, um Patient*innen in ihrem Entscheidungsprozess zu stärken [8].

Um die Arzt-Patienten-Kommunikation zukünftiger Ärzt*innen zu verbessern, entwickelten Jünger et al. ein longitudinales Mustercurriculum Kommunikation zur Implementierung in das Medizinstudium [9], [10]. Auf dessen Grundlage können die wesentlichen Lernziele der Arzt-Patienten-Kommunikation in die medizinische Lehre und Prüfung integriert werden [11].

Im Sinne von „Assessment drives learning“ [12] wurde das künftige abschließende Staatsexamen des Medizinstudiums in Deutschland vom Institut für medizinische und pharmazeutische Prüfungsfragen (IMPP) im Hinblick auf eine größere Patientenorientierung neugestaltet. Zur Beurteilung der kommunikativen Kompetenzen werden an medizinischen Fakultäten häufig „objective structured clinical examinations“ (OSCE) eingesetzt, die mithilfe von Simulationspersonen schwerpunktmäßig verbale Kommunikationsfähigkeiten erfassen [13]. Um während der neuen Staatsexamensprüfung eine authentische Situation zu schaffen, findet die hierbei vorgesehene arbeitsplatzbasierte Prüfung an realen Patient*innen auf einer chirurgischen oder internistischen Station sowie in einer allgemeinärztlichen Praxis statt (siehe Abbildung 1 [Abb. 1]). Als Teil des verbesserten Entlassmanagements erstellen die Prüflinge einen evidenzbasierten Patientenbericht für den*die weiterbehandelnden Arzt*Ärztin sowie einen Bericht für die Patient*innen selbst, der leicht verständlich ist und ihnen alle relevanten Informationen liefert [14].

Die Verwendung einer einfachen Sprache ist eine der häufigsten Strategien, die von Ärzt*innen, Pflegekräften und Apotheker*innen zur Verbesserung der Gesprächsführung mit ihren Patient*innen eingesetzt wird [15]. Earl et al. zeigten die Auswirkungen eines Gesundheitskompetenzmoduls auf die Verbesserung des schriftlichen Patientenaufklärungsmaterials der Studierenden in den Bereichen Lesbarkeit, Inhalt, Rechenleistung, Statistik und Konzepte der Patientenaktivität. Die Vereinfachung der medizinischen Sprache gestaltete sich allerdings schwierig [16].

Zusammenfassend lässt sich sagen, dass es bereits eine Reihe internationaler Studien zur Arzt-Patienten-Kommunikation im Allgemeinen und der schriftlichen Kommunikation im Besonderen gibt [17], [18], [19], [20], [21]. Bisher befassten sich diese Studien vor allem mit der Beziehung zwischen Gesundheitskompetenz der Patient*innen und Kommunikation, der Lesbarkeit und Verständlichkeit schriftlicher Patienteninformationsmaterialien sowie mit dem Nutzen schriftlicher Kommunikationsstrategien. Eine größere randomisierte, kontrollierte Studie zum Nutzen laienverständlicher Patientenberichte wurde bereits von der Initiative „Was hab' ich?“ gGmbH mit 417 Patient*innen durchgeführt. Hierbei stellten die Ärzt*innen von „Was hab' ich?“ den Patient*innen nach der Entlassung aus dem Krankenhaus einen leicht verständlichen Patientenbericht zur Verfügung. Diese Studie zeigte signifikante Auswirkungen der Patientenberichte auf das Verständnis der Patient*innen von Untersuchungsergebnissen, Medikamentenindikationen und -verschreibungen [22]. Die in den Berichten verwendete Sprache zeichnete sich durch einfache Wörter, kurze, vollständige und einfache Sätze sowie durch eine positive Sprache und das Vermeiden medizinischer Fachausdrücke aus. Zudem wurden relevante Hintergrundinformationen bereitgestellt und auf einen inhaltlich logischen Aufbau des Texts geachtet [23], [24]. Auf der Grundlage dieser Kriteriensammlung für die Erstellung eines Berichts in patientenverständlicher Sprache entwarf „Was hab' ich?“ eine Vorlage für die Erstellung dieser Berichte durch Medizinstudierende. Bisher gibt es jedoch kein Bewertungsinstrument zum Verfassen für patientenverständliche Berichte.

Ziel dieser Studie war daher die Entwicklung und Testung eines standardisierten Bewertungsbogens für die formative und summative Beurteilung von Berichten, der die wichtigen Aspekte des patientenverständlichen Schreibens umfasst. Basierend auf realen anstelle von simulierten Patient*innen und Situationen muss dieser Bogen individuell verwendet werden und alle Konsultationsanlässe und Erkrankungen abdecken können.

Zur Entwicklung dieses Bewertungsbogens wurde die Kriteriensammlung der „Was hab' ich?“ gGmbH herangezogen, eine Literaturanalyse durchgeführt und Expertenmeinungen eingeholt. Geprüft wurden die Anwendbarkeit des Bogens und die Testgütekriterien, insbesondere die Reliabilität.


2. Methodik

2.1. Entwicklung eines standardisierten Bewertungsbogens für patientenverständliche Berichte

Zur Beurteilung der Qualität schriftlicher Kommunikation Medizinstudierender in patientenverständlichen Berichten wurde auf der Grundlage einer Literaturanalyse und einer Kriteriensammlung für das patientenverständliche Schreiben ein erster Entwurf eines Bewertungsbogens durch die „Was hab' ich?“ gGmbH und das IMPP erstellt [23], [24]. Im August 2018 erarbeitete eine Gruppe von 27 medizinischen Expert*innen aus acht deutschen Fakultäten, bestehend aus Fachärzt*innen für Allgemeinmedizin, Innere Medizin, Anästhesie, Psychiatrie, Chirurgie, Psychosomatik und Psychotherapie, Psycholog*innen, die alle am Weiterbildungsstudiengang „Master of Medical Education“ (MME) teilgenommen haben, sowie fünf Studierenden hieraus gemeinsam einen Bewertungsbogen: Der erste Entwurf wurde zunächst in einer Kleingruppe von sieben Expert*innen überarbeitet und anschließend in der Gesamtgruppe diskutiert und konsensual beschlossen.

Im Oktober 2018 wurde dieser Bewertungsbogen mit insgesamt zehn Prüflingen an der Klinik für Allgemein-, Viszeral- und Transplantationschirurgie des Universitätsklinikums Heidelberg getestet [25]. Die Prüflinge befanden sich im vierten bis sechsten Jahr ihres Medizinstudiums. Jeder Prüfling schrieb einen patientenverständlichen Bericht basierend auf einer standardisierten Vorlage. Diese Berichte wurden anschließend von elf Ärzt*innen und drei Studierenden begutachtet, die an der Entwicklung des Bewertungsbogens im August 2018 mitgewirkt hatten. Basierend auf diesen Erfahrungen wurde der Bewertungsbogen von den teilnehmenden Ärztinnen der Initiative „Was hab' ich?“ gGmbH und des IMPP weiterentwickelt.

2.2. Testung und Überarbeitung des Bewertungsbogens

Im Januar und Februar 2019 wurde der überarbeitete Bewertungsbogen anhand von 21 patientenverständlichen Berichten, die von Studierenden im letzten (sechsten) Jahr ihres Medizinstudiums (PJ) auf der Heidelberger interprofessionellen Ausbildungsstation (HIPSTA) des Universitätsklinikums Heidelberg verfasst wurden, umfassend getestet. Auf der HIPSTA behandeln Medizinstudierende und Pflegeauszubildende vier Wochen lang gemeinsam Patient*innen unter der Aufsicht von medizinischen und pflegerischen Lernbegleiter*innen [26]. Ein Teil der praktischen Ausbildung besteht darin, zusätzlich zum konventionellen Entlassbericht an die weiterbehandelnden Ärzt*innen, auch patientenverständliche Berichte zu verfassen. Die PJ-Studierenden erhielten von der Initiative „Was hab' ich?“ gGmbH hierzu im Vorfeld ein strukturiertes Training im patientenverständlichen Schreiben. Hierbei wurden das sichere Erkennen und Vermeiden medizinischer Begriffe, die Erläuterung von Hintergrundinformationen und ein einfach strukturierter Schreibstil geübt.

Diese 21 patientenverständlichen Berichte wurden von zwei Prüfergruppen, bestehend aus jeweils zwei Ärztinnen der Initiative „Was hab' ich?“ gGmbH, bewertet. Die erste Gruppe verwendete den entwickelten Bewertungsbogen mit den detaillierten Unterpunkten. Die zweite Gruppe, die die Berichte auswertete, konzentrierte sich hingegen nur auf die drei Hauptkriterien ohne Kenntnis der Unterpunkte [27].

2.3. Evaluierungsstudie

Nach der Überarbeitung des Bewertungsbogens auf Basis der ersten Testung auf der HIPSTA wurden die 21 patientenverständlichen Berichte erneut von insgesamt 14 Prüfenden bewertet. Diese Prüfenden setzten sich nun zusammen aus Ärztinnen der Initiative „Was hab' ich?“ gGmbH mit Erfahrung im patientenverständlichen Schreiben und aus Ärzt*innen des IMPP sowie Allgemeinmediziner*innen, da letztere die Ärzt*innen sind, die in der Regel Entlassberichte erhalten. Der entsprechende Entlassbericht für die weiterbehandelnden Ärzt*innen wurde zum Vergleich zur Verfügung gestellt. Die für die statistische Analyse verwendete Stichprobe umfasste die vorhandenen Bewertungen aller Prüfenden. Da nicht alle Prüfenden alle Berichte bewerteten, ergab sich eine Stichprobe von N=205 Bewertungen. Die Stichprobe für die Analysen zur Inter-Rater-Reliabilität bestand aus den Bewertungen der neun Prüfenden, die elf der 21 Berichte vollständig bewertet hatten. Da keine persönlichen Daten ausgewertet wurden, war keine Zustimmung der Ethikkommission erforderlich.

2.4. Testqualitätskriterien und statistische Methoden

Statistisch wurden zunächst deskriptive Kennzahlen, die Mittelwerte und Standardabweichungen, für jede der drei Kategorien des Bewertungsbogens einzeln analysiert. Darüber hinaus wurden bivariate Korrelationen zwischen den Kategorien berechnet. Hierfür wurde der Korrelationskoeffizient nach Pearson angewendet [28].

Die Reliabilität ist gegeben, wenn das jeweilige Instrument keine Messfehler erzeugt. Sie kann angenommen werden, wenn ein hoher Grad an Interkorrelation zwischen den einzelnen Teilen eines Messinstruments besteht. Die Reliabilität wurde durch die Berechnung des Generalisierbarkeits- (G-) Koeffizienten analysiert [29]. Es wurde gegen Cronbachs Alpha entschieden, um eine Überschätzung der Reliabilität aufgrund von „Übungseffekten“ bei Prüfenden nach mehrmaligem Einsatz des Bewertungsbogens zu vermeiden [30]. Daher wurden Varianzkomponenten für die Faktoren Prüfende, Bericht und Hintergrund der Prüfenden („Was hab' ich?“ vs. IMPP und Hausärzt*innen) bezüglich der erreichten Punktzahl bei allen Bewertungen basierend auf der Generalisierbarkeitstheorie berechnet [29], [31]. Dies half, mögliche Quellen für Messfehler in den Bewertungen der Berichte zu identifizieren [32]. Die relative Fehlervarianz wurde auf der Grundlage der berechneten Varianzkomponenten bestimmt. Mit dieser relativen Fehlervarianz konnte der G-Koeffizient berechnet werden. Der G-Koeffizient schätzt, ob die Ergebnisse auf die Population übertragbar sind oder ob der Interaktionseffekt zwischen den Faktoren und den Prüflingen nur auf die Studienstichprobe bezogen werden kann. Ein G-Koeffizient von eins zeigt an, dass die verfügbaren Daten und Ergebnisse perfekt auf alle Bewertungen außerhalb der Studie übertragen werden können. Ein hoher Wert für diesen Koeffizienten deutet also auf eine hohe Reliabilität hin [29].

Die Bewertungsübereinstimmung in Form der Inter-Rater-Reliabilität [33] wurde auf der Basis einer Stichprobe von neun Prüfenden berechnet, die elf der 21 Berichte vollständig bewerteten. Die anderen Prüfenden bewerteten einen Teil der Berichte. Die Inter-Rater-Reliabilität wurde für jede der drei Kategorien in den elf Berichten getrennt berechnet. Dies basierte auf dem Koeffizienten Kendall W [34]. Die Bewertungsskala des entwickelten Bewertungsbogens stieg von null bis fünf Punkten auf. Da mindestens ein ordinales Skalenniveau angenommen werden konnte, erschien Kendall W als der geeignete Koeffizient, im Gegensatz z. B. zum Fleiss Kappa-Koeffizienten, welcher kategoriale Daten voraussetzt [34]. Ziel war es, festzustellen, ob die Prüfenden innerhalb einer Bewertungskategorie in ihren Bewertungen konsistent waren oder nicht.

Darüber hinaus wurde die inhaltliche Validität des Bewertungsbogens durch die umfassende medizinische Expertise im Entwicklungsprozess sichergestellt. Dies bedeutet, dass die entwickelten Kategorien des Bewertungsbogens den beabsichtigten Inhalt repräsentieren [35].

Um Beeinflussungen in der Bewertung der patientenverständlichen Berichte zu vermeiden, kannten sich die an der Testung beteiligten Prüfenden und Studierenden nicht persönlich.


3. Ergebnisse

3.1. Entwicklung und erste Testung des Bewertungsbogens

Der erste Entwurf des Bewertungsbogens enthielt die Kategorien „Inhaltsauswahl“, „Medizinische Korrektheit“, „Struktur und Syntax des Berichts“, „Sprachliche Gestaltung“ und „Grammatik“. In jeder Kategorie konnten null bis fünf Punkte vergeben werden. Die Kategorien wurden in der Gesamtbewertung mit zehn bis 30% gewichtet.

Den Ergebnissen der ersten Testung folgend wurden die Hauptbewertungskriterien zu drei Kategorien zusammengefasst: „Inhaltauswahl und medizinische Korrektheit“, „Übersetzung medizinischer Fachsprache in laienverständliche Sprache“ und „Leicht verständliche Sprache“. Jede der drei Hauptbewertungskategorien wurde mit spezifizierten Unterpunkten detaillierter dargestellt. In jeder der drei Kategorien konnten null bis fünf Punkte vergeben werden. Die Kategorie „Inhaltsauswahl und medizinische Korrektheit“ ging mit 40% in die Gesamtbewertung ein. Die anderen beiden Kategorien erhielten jeweils eine Gewichtung von 30%.

Diese Version des Bewertungsbogens wurde gemäß den Testungen auf der HIPSTA überarbeitet und spezifiziert. Die zweite Kategorie wurde in „Laienverständliche Sprache und Hintergrundinformation“ umbenannt. Die Anzahl der Unterpunkte wurde in der Kategorie „Inhaltsauswahl und medizinische Korrektheit“ von ursprünglich acht zu fünf Unterpunkten zusammengefasst.

3.2. Getestete Version des Bewertungsbogens

Ein standardisierter Bewertungsbogen für patientenverständliche Berichte konnte erfolgreich mit drei Hauptbewertungskategorien entwickelt werden. „Inhaltsauswahl und medizinische Korrektheit“ wurde mit 40 Prozent und „Laienverständliche Sprache und Hintergrundinformation“ sowie „Leicht verständliche Sprache“ mit jeweils 30 Prozent in der Gesamtbewertung berücksichtigt. Die Unterpunkte dienten zur Spezifizierung der Bewertungskategorien (siehe Abbildung 2 [Abb. 2]).

3.3. Evaluation
3.3.1. Deskriptive Kennzahlen und Korrelationen

Aus der Stichprobe von 205 individuellen Bewertungen der Prüfenden wurden Mittelwerte, Standardabweichung und paarweise Korrelationen zwischen den drei Kategorien berechnet.

Folgend wird ein Überblick über die Mittelwerte sowie die Standardabweichung für jede der drei Kategorien gegeben (siehe Tabelle 1 [Tab. 1]).

Alle drei Kategorien wiesen nahezu identische Mittelwerte und Standardabweichungen auf. Somit hat jeder der 14 Prüfenden im Durchschnitt die gleiche Punktzahl in jedem der 21 Berichten vergeben. Hieraus folgt, dass keine der Kategorien deutlich besser oder schlechter bewertet als die andere.

Da sich aus diesen deskriptiven Zahlen bereits mögliche Zusammenhänge abzeichneten, wurden die bivariaten Korrelationen zwischen den Kategorien berechnet (siehe Tabelle 2 [Tab. 2]).

Die Werte der paarweisen Korrelation zeigten einen mittleren bis hohen positiven Zusammenhang zwischen den drei Kategorien, wobei alle Korrelationen hochsignifikant waren (p-Wert < 0,001). Die stärkste Korrelation wurde zwischen den Kategorien „Laienverständliche Sprache und Hintergrundinformation“ und „Leicht verständliche Sprache“ gefunden (r=0,61). Im Vergleich hierzu korrelierten „Inhaltauswahl und medizinische Korrektheit“ und „Laienverständliche Sprache und Hintergrundinformation“ (r=0,45) sowie „Inhaltauswahl und medizinische Korrektheit“ und „Leicht verständliche Sprache“ (r=0,31) auf einem mittleren Niveau.

3.3.2. Reliabilität

Die Interrater-Reliabilität der elf Berichte wurde für jede der drei Bewertungskategorien separat ausgewertet. Sie wurde getrennt nach Prüfenden der „Was hab’ ich?“ gGmbH und Prüfenden des IMPP und der Allgemeinmedizin berechnet, um die Bewertungen beider Gruppen vergleichen zu können (siehe Tabelle 3 [Abb. 3]).

Die Übereinstimmungsrate in der ersten Kategorie war bei den Prüfenden von „Was hab‘ ich?“ im Vergleich zu den Prüfenden des IMPP und den Allgemeinmediziner*innen deutlich höher. Im Vergleich hierzu war die Übereinstimmung der Bewertungen für die anderen beiden Kategorien in beiden Gruppen auf einem mittleren Niveau.

Der berechnete G-Koeffizient lag bei 0,72 für alle 205 Bewertungen. Dieser eher hohe Wert zeigt, dass die Bewertungen der patientenverständlichen Berichte nicht nur auf die Stichprobe begrenzt sind, sondern auch auf Bewertungen außerhalb der Studie übertragen werden können.

3.3.3. Überarbeitung des Bewertungsbogens auf Grundlage der Evaluation

Der Bewertungsbogen wurde anhand der Evaluationsergebnisse leicht überarbeitet: Die Kategorie „Laienverständliche Sprache und Hintergrundinformationen“ wurde in „Vermittlung von Hintergrundinformationen und patientenverständlicher Umgang mit Fachbegriffen“ spezifiziert. Zur besseren Unterscheidung der beiden Kategorien wurde die Kategorie „Leicht verständliche Sprache“ in „Patientenverständlicher Sprachstil, Lesbarkeit und Alltagssprache“ umbenannt.

Die Erklärung des Unterpunkts „Ihre Medikamente“ wurden um „Erklärt das Einnahmeschema, gibt Einnahmehinweise“ und „Weist ggf. auf relevante Interaktionen und/ oder unerwünschte Wirkungen hin“ ergänzt. Zudem wurde die Erklärung „Gibt Verhaltensempfehlungen“ beim Unterpunkt „Die nächsten Schritte“ um die Punkte „Hygiene, Wundpflege, Ernährung, Bewegung, Trinkmenge, Nikotin“ erweitert.


4. Diskussion

Mittels eines mehrstufigen Konzeptions- und Überarbeitungsprozess wurde ein standardisierter Bewertungsbogen zur Beurteilung von patientenverständlichen Berichten erfolgreich entwickelt. Dies ist eine bemerkenswerte Verbesserung der Ausbildung der Studierenden im Bereich der Arzt-Patienten-Kommunikation.

Eine Studie der „Was hab’ ich?“ gGmbH zeigte, dass Medizinstudierende, die ein Training zur schriftlichen Kommunikation absolviert haben und regelmäßig Befunde übersetzen, im Gespräch mit standardisierten Personen in einem simulierten Arzt-Patienten-Kontakt bessere Erklärungen verwenden als ungeschulte Studierende [36]. Dies entspricht auch dem Selbstverständnis der Studierenden, die bei der „Was hab’ ich?“ gGmbH arbeiten: Sie sind sich einig, dass die schriftliche Übersetzung von fachsprachlichen Entlassberichten in laienverständliche Patientenberichte zu einer Steigerung ihrer Kompetenzen in patientenverständlicher Kommunikation führt [37].

In der hier vorliegenden Studie erstellten Studierende, die sich im letzten Jahr ihrer medizinischen Ausbildung befanden, patientenverständliche Berichte. Die Testung des neu entwickelten Bewertungsbogens, der bei 21 dieser patientenverständlichen Berichte angewendet wurde, konnte die Praktikabilität sowie den Nutzen dieses Instruments zur Beurteilung der spezifischen schriftlichen Kommunikationsfähigkeiten von Studierenden zeigen. Durch die Einbindung verschiedener medizinischer Expert*innen in den Entwicklungsprozess wurde sichergestellt, dass die einzelnen Bewertungskategorien die wichtigsten Schritte beim Verfassen eines patientenverständlichen Berichtes abbilden. Die Implementierung von spezifischen Unterpunkten unterstützt die Prüfenden bei der Interpretation der Kategorien.

Zwischen den drei Kategorien konnten mittlere und hohe Korrelationen beobachtet werden. Vor allem die hohe Korrelation zwischen „Laienverständliche Sprache und Hintergrundinformation“ und „Leicht verständliche Sprache“ ist ein Indikator für die gute Reliabilität des Bewertungsbogens. Dagegen sind die mittelstarken Korrelationen zwischen „Inhaltsauswahl“ und „Laienverständliche Sprache und Hintergrundinformation“ sowie „Leicht verständliche Sprache“ ein Indiz für die Unabhängigkeit der Bewertungen von Inhalt und Sprache. Jene Studierenden, die nach Meinung der Prüfenden in den Patientenberichten eine angemessene Laiensprache verwendeten und die Hintergrundinformationen gut kommunizierten, waren auch in der Lage, in einer leicht verständlichen Sprache zu schreiben. Im Gegensatz dazu standen eine angemessene Auswahl des Inhalts und die fachliche Korrektheit nicht unbedingt in Abhängigkeit zur Verwendung von Laiensprache oder leicht verständlicher Sprache.

Die Analysen der Inter-Rater-Reliabilität zeigten, dass sich der Grad der Übereinstimmung in den Bewertungen aller drei Kategorien zwischen beiden Prüfergruppen teilweise unterschied. Die Prüfenden der „Was hab' ich?“gGmbH hatten in der Kategorie „Inhaltsauswahl und medizinische Korrektheit“ einen höheren Grad an Übereinstimmung als die Prüfenden des IMPP und die Allgemeinmediziner*innen. Diese Tatsache ist ein Indiz für unterschiedliche Ausgangsbedingungen der Prüfenden. Dies ist auf ihre interdisziplinären Hintergründe und vor allem auf ihre unterschiedlichen Vorerfahrungen mit patientenverständlicher Sprache zurückzuführen. Dieses Ergebnis unterstreicht die Notwendigkeit einer einheitlichen Prüferschulung zu den Standards des Verfassens patientenverständlicher Berichte, bevor der Bewertungsbogen in den medizinischen Staatsexamina verwendet wird.

Der berechnete G-Koeffizient zeigt, dass die Daten und Ergebnisse der Studie auf weitere Bewertungen außerhalb der Studie anwendbar und daher verallgemeinerbar sind. Der Bewertungsbogen generiert somit reliable Ergebnisse.

Mit der Sicherstellung der inhaltlichen Validität des Bewertungsbogens durch den Entwicklungsprozess wurden die Testgütekriterien weitgehend erfüllt. Der Bogen ist somit ein geeignetes Instrument, um patientenverständliche Berichte mittels zentraler Kategorien zu bewerten.

Zu den Einschränkungen der Studie gehört, dass die Ergebnisse nur aus Berichten stammten, die auf einer interprofessionellen Ausbildungsstation in Heidelberg verfasst wurden. Im Rahmen der weiteren Forschung wäre es interessant, die Bewertungen mehrerer Prüfender in einer größeren Stichprobe von Berichten, die auf konventionellen Stationen oder im ambulanten Bereich verschiedener Fakultäten verfasst wurden, zu evaluieren und zu validieren. Zudem sollten Prüferschulungen zur Beurteilung von patientenverständlichen Berichten unter Verwendung des entwickelten Bewertungsbogens obligatorisch sein. Diese Schulungen sollen einen einheitlichen Bewertungsstandard gewährleisten, um unterschiedliche Interpretationen und Gewichtungen von Unterpunkten zu vermeiden und zu einer höheren Beurteilungsübereinstimmung beizutragen. Die Inter-Rater-Reliabilität der geschulten Prüfenden sollte anschließend analysiert werden.

Kontinuierliche formative Prüfungen und Feedback auf der Grundlage des Bewertungsbogens können eingesetzt werden, um die medizinische Ausbildung für PJ-Studierende zu verbessern. Da Patient*innen die Empfänger*innen dieser Berichte sind, wäre ein Vergleich der Beurteilungen der patientenverständlichen Berichte durch die Patient*innen selbst mit der Beurteilung durch medizinische Expert*innen von großem Interesse. Durch Kombination beider Beurteilungen könnte sichergestellt werden, dass die patientenverständlichen Berichte Patient*innen umfassend informieren und Entlassungsfehler in Zukunft reduziert werden können. Die Verbesserung der mündlichen Kommunikationsfähigkeiten von Studierenden und jungen Ärzt*innen aufgrund dieser Weiterentwicklung der medizinischen Ausbildung sollte in weiteren Studien untersucht werden.


5. Schlussfolgerung

Die Bewertung der Kommunikation mit Patient*innen ist ein Zugewinn der neu entwickelten Prüfung am Patienten oder an der Patientin. Regelmäßige formative Prüfungen und Feedback anhand des Bewertungsbogens können im Laufe des Studiums eingesetzt werden, um die schriftlichen Kommunikationskompetenzen künftiger Ärzt*innen zu verbessern. Darüber hinaus ist zu erwarten, dass das Verstehen von Diagnosen und Therapien sowie eine vertrauensvolle Arzt-Patienten-Beziehung Patient*innen zu mehr Teilhabe am medizinischen Entscheidungsprozess befähigt. Dies könnte künftig auch Entlassungsfehlern vorbeugen. Um dieses Ziel zu erreichen sind klare Vorgaben sowie Trainings zum Verfassen patientenverständlicher Berichte in die medizinische Ausbildung zu verankern. Für den einheitlichen Gebrauch des Bewertungsbogens ist die Implementierung standardisierter Prüferschulungen erforderlich.


Abkürzungsverzeichnis

  • G-Koeffizient: Generalisierbarkeitskoeffizient
  • HIPSTA: Heidelberger Interprofessionelle Ausbildungsstation
  • IMPP: Institut für medizinische und pharmazeutische Prüfungsfragen
  • MME: Master of Medical Education
  • PJ: Praktisches Jahr
  • r: Pearsons Korrelationskoeffizient r

Förderung

Dieses Projekt wurde von der Bertelsmann Stiftung gefördert (Laufzeit: 1.10.2017 - 30.06.2021).


Aktuelle berufliche Rolle der Autor*innen

Dr. med. Lena Selgert

  • wissenschaftliche Mitarbeiterin am Institut für medizinische und pharmazeutische Prüfungsfragen, Mainz
  • Ärztin

Bernd Bender

  • wissenschaftlicher Mitarbeiter am Institut für medizinische und pharmazeutische Prüfungsfragen, Mainz
  • Diplom-Soziologe

Dr. phil. Barbara Hinding

  • wissenschaftliche Mitarbeiterin am Institut für medizinische und pharmazeutische Prüfungsfragen, Mainz
  • Diplom-Psychologin

Aline Federmann, M.A.

  • wissenschaftliche Mitarbeiterin am Institut für medizinische und pharmazeutische Prüfungsfragen, Mainz

Prof. Dr. med. André L. Mihaljevic

  • Oberarzt und Lehrkoordinator klinischer Studienabschnitt (Klinik für Allgemein-, Viszeral- und Transplantationschirurgie, Universitätsklinikum Heidelberg)
  • Ärztliche Leitung der Heidelberger Interprofessionellen Ausbildungsstation – (HIPSTA)
  • Klinischer Wissenschaftler (stellv. Sprecher der chirurgischen Studiennetzwerks CHIR-Net)

Rebekka Post

  • Ärztin bei der Initiative "Was hab’ ich"gGmbH

Ansgar Jonietz

  • Gründer und CEO der Initiative "Was hab’ ich? gGmbH
  • Informatiker

John J. Norcini, Ph.D.

  • Research Professor in the Department of Psychiatry at SUNY Upstate Medical University
  • President Emeritus of FAIMER

Ara Tekian, Ph.D., MHPE

  • professor, Department of Medical Education, and associate dean, International Education, University of Illinois at Chicago College of Medicine, Illinois, USA.

Prof. Dr. med. Jana Jünger, MME (Bern)

  • Direktorin des Institutes für medizinische und pharmazeutische Prüfungsfragen
  • Entwicklung des Postgraduierten-Studiengangs Master of Medical Education (MME), Deutschland
  • Mitglied der MME-Studiengangsleitung und Dozentin der Module Prüfungen, Ausbildungsforschung, Evaluation
  • Leitung verschiedener Projekte zur Implementierung von Kommunikationscurricula in die medizinische Ausbildung sowie Entwicklung neuer Prüfungsformate zur Überprüfung kommunikativer Kompetenzen

Interessenkonflikt

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Bundesministerium für Gesundheit. Patientenrechte. Berlin: Bundesministerium für Gesundheit; 2019. Zugänglich unter/available from: https://www.bundesgesundheitsministerium.de/themen/praevention/patientenrechte/patientenrechte.html Externer Link
2.
Stahl K, Nadj-Kittler M. Picker report 2016. Vertrauen braucht gute Verständigung. Erfolgreiche Kommunikation mit Kindern, Eltern und erwachsenen Patienten. Hamburg: Picker Institut Deutschland gGmbH; 2016.
3.
NHS England. Review of National Reporting and Learning System (NRLS) incident data relating to discharge from acute and mental health trusts - August 2014. London: NHS England; 2014.
4.
Williams H, Edwards A, Hibbert P, Rees P, Prosser Evans H, Panesar S, Carter B, Parry G, Makeham M, Jonas A, Avery A, Sheikh A, Donaldson L, Carson-Stevens A. Harms from discharge to primary care: mixed methods analysis of incident reports. Br J Gen Pract. 2015;65(641):829-837. DOI: 10.3399/bjgp15X687877 Externer Link
5.
Hesselink G, Zegers M, Vernooij-Dassen M, Barach P, Kalkman C, Flink M, Öhlen G, Olsson M, Bergenbrant S, Orrego C, Suñol R, Toccafondi G, Venneri F, Dudzik-Urbaniak E, Kutryba B, Schoonhoven L, Wollersheim H; European HANDOVER Research Collaborative. Improving patient discharge and reducing hospital readmissions by using Intervention mapping. BMC Health Serv Res. 2014;14:389. DOI: 10.1186/1472-6963-14-389 Externer Link
6.
Pinelli V, Papp KK, Gonzalo JD. Interprofessional communication patterns during patient discharges: A social network analysis J. Gen Intern Med. 2015;30(9):1299-306. DOI: 10.1007/s11606-015-3415-2 Externer Link
7.
Kripalani S, LeFevre F, Phillips CO, Williams MV, Basaviah P, Baker DW. Deficits in Comunication and Information Transfer between Hospital-Based and Primary Care Physicians: Implications for Patient Safety and Continuity of Care. JAMA. 2007;297(8):831-841. DOI: 10.1001/jama.297.8.831 Externer Link
8.
Noordman J, van Vliet L, Kaunang M, van den Muijsenbergh M, Boland G, van Dulmen S. Towards appropriate information provision for and decision-making with patients with limited health literacy in hospital-based palliative care in Western countries: a scoping review into available communication strategies and tools for healthcare providers. BMC Palliat Care. 2019;18(1):37. DOI: 10.1186/s12904-019-0421-x Externer Link
9.
Jünger J, Mutschler A, Kröll K, Weiss C, Fellmer-Drüg E, Köllner V, Ringel N. Ärztliche Gesprächsführung in der medizinischen Aus- und Weiterbildung: Das nationale longitudinale Mustercurriculum Kommunikation. Med Welt. 2015;66: 189-192.
10.
Sator M, Jünger J. From Stand-Alone Solution to Longitudinal Communication Curriculum -Development and Implementation at the Faculty of Medicine in Heidelberg. Psychother Psych Med. 2015;65(05):191-198. DOI: 10.1055/s-0034-1398613 Externer Link
11.
Jünger J, Weiss C, Fellmer-Drüg E, Semrau J. Verbesserung der kommunikativen Kompetenzen im Arztberuf am Beispiel der Onkologie: Ein Projekt des Nationalen Krebsplans. Forum. 2016;31:473-478. DOI: 10.1007/s12312-016-0162.1 Externer Link
12.
van der Vleuten CP, Schuwirth LW, Driessen EW, Dijkstra J, Tigelaar D, Baartman LK, van Tartwijk J. A model for programmatic assessment fit for purpose. Med Teach. 2012;34(3):205-214. DOI: 10.3109/0142159X.2012.652239 Externer Link
13.
Nikendei C, Jünger J. OSCE - hands on instructions for the implementation of an objective structured clinical examination. GMS Z Med Ausbild. 2006;23(3):Doc47. Zugänglich unter/available from: https://www.egms.de/static/de/journals/zma/2006-23/zma000266.shtml Externer Link
14.
Jünger J. Kompetenzorientiert prüfen im Staatsexamen Medizin. Bundesgesundheitsbl. 2018;61:171-177. DOI: 10.1007/s00103-017-2668-9 Externer Link
15.
Schwartzberg JG, Cowett A, VanGeest J, Wolf MS. Communication techniques for patients with low health literacy: a survey of physicians, nurses, and pharmacists. Am J Health Behav. 2007;Suppl 1:96-104. DOI: 10.5555/ajhb.2007.31.supp.S96 Externer Link
16.
Earl GL, Harris EM, Dave M, Estriplet-Jiang, J. Implementing a health literacy module fostering patient-centered written communication in a cardiovascular prevention elective course. Curr Pharm Teach Learn. 2019;11(7):702-709. DOI: 10.1016/j.cptl.2019.03.008 Externer Link
17.
Lopez Ramos C, Williams JE, Bababekov YJ, Chang DC, Carter BS, Jones PS. Assessing the Understandability and Actionability of Online Neurosurgical Patient Education Materials. World Neurosurg. 2019;130:588-597. DOI: 10.1016/j.wneu.2019.06.166 Externer Link
18.
Roberts HJ, Zhang D, Earp BE, Blazar P, Dyer GSM. Patient self-reported utility of hand surgery online patient education materials. Musculoskeletal Care. 2018;16(4):458-462. DOI: 10.1002/msc.1360 Externer Link
19.
Davis TC, Fredrickson DD, Arnold C, Murphy PW, Herbst M, Bocchini JA. A polio immunization pamphlet with increased appeal and simplified language does not improve comprehension to an acceptable level. Patient Educ Couns. 1998;33(1):25-37. DOI: 10.1016/s0738-3991(97)00053-0 Externer Link
20.
Rubin DT, Ulitsky A, Poston J, Day R, Huo D. What is the most effective way to communicate results after endoscopy? Gastrointest Endosc. 2007;66(1):108-112. DOI: 10.1016/j.gie.2006.12.056 Externer Link
21.
Schumaier AP, Kakazu R, Minoughan CE, Grawe BM. Readability assessment of American Shoulder and Elbow Surgeons patient brochures with suggestions for improvement. JSES Open Access. 2018;2(2):150-154. DOI: 10.1016/j.jses.2018.02.003 Externer Link
22.
"Was hab' ich?" gGmbH. Patientenbriefe wirken. Ergebnisbericht zum Projekt "Mehr Gesundheitskompetenz durch Patientenbriefe". Hamburg: "Was hab' ich?" gGmbH; 2019.
23.
Netzwerk Leichte Sprache. Die Regeln für Leichte Sprache. Münster: Netzwerk Leichte Sprache; 2017. Zugänglich unter/available from: https://www.leichte-sprache.org/wp-content/uploads/2017/11/Regeln_Leichte_Sprache.pdf Externer Link
24.
Bredel U, Maaß C. Duden Leichte Sprache. Theoretische Grundlagen, Orientierung für die Praxis. Berlin: Dudenverlag; 2016.
25.
Selgert L, Samigullin A, Lux R, Gornostayeva M, Hinding B, Schlasius-Ratter U, Hendelmeier M, Mihaljevic AL, Wienand S, Schneidewind S, Bintaro P, Jonitz A, Jünger J. Weiterentwicklung des medizinischen Staatsexamens in Deutschland: Prüfung am Patienten. In: Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA), des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ) und der Chirurgischen Arbeitsgemeinschaft Lehre (CAL). Frankfurt am Main, 25.-28.09.2019. Düsseldorf: German Medical Science GMS Publishing House; 2019. DocP-05-03.DOI: 10.3205/19gma287 Externer Link
26.
Mihaljevic AL, Schmidt J, Mitzkat A, Probst P, Kenngott T, Mink J, Fink CA, Ballhausen A, Chen J, Cetin A, Murrmann L, Müller G, Mahler C, Götsch B, Trierweiler-Hauke B. Heidelberger interprofessionelle Ausbildungsstation (HIPSTA): a practice- and theory-guided approach to development and implementation of Germany's first interprofessional training ward. GMS J Med Educ. 2018;35(3):Doc33. DOI: 10.3205/zma001179 Externer Link
27.
Post R, Jonietz A, Selgert L, Lux R, Mihaljevic AL, Jünger J. Entwicklung, Testung und Validierung eines Bewertungsbogens zur Beurteilung laienverständlicher Patientenbriefe. In: Gemeinsame Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA), des Arbeitskreises zur Weiterentwicklung der Lehre in der Zahnmedizin (AKWLZ) und der Chirurgischen Arbeitsgemeinschaft Lehre (CAL). Frankfurt am Main, 25.-28.09.2019. Düsseldorf: German Medical Science GMS Publishing House; 2019. DocP-05-02. DOI: 10.3205/19gma286 Externer Link
28.
Weins C. Uni- und bivariate deskriptive Statistik. In: Wolf C, Best H, editors. Handbuch der sozialwissenschaftlichen Datenanalyse. Wiesbaden: VS-Verlag für Sozialwissenschaften; 2010. p.65-89. DOI: 10.1007/978-3-531-92038-2_4 Externer Link
29.
Field S, Egan R, Beesley T. Applying G-Theory and Multivariate G-Analysis to improve Clinical Data quality and performance assessment accuracy. OHSE Working Paper. San Francisco, CA: Academia.edu; 2017. Zugänglich unter/available from: https://www.academia.edu/37118667/_Applying_G-Theory_and_Multivariate_G-Analysis_to_improve_Clinical_Data_quality_and_performance_assessment_accuracy_2017_OHSE_Working_Paper Externer Link
30.
Schmolck P. Begleittext: Methoden der Reliabilitätsschätzung. München: Universität der Bundeswehr München; 2007. Zugänglich unter/available from: https://dokumente.unibw.de/pub/bscw.cgi/1787978 Externer Link
31.
Cardinet J, Tourneur Y, Allal L. Extension of generalizability theory and its applications in educational measurement. J Educ Measurement. 1981;18(4):183-204. DOI: 10.1111/j.1745-3984.1981.tb00852.x Externer Link
32.
Bühl A. SPSS 16. Einführung in die moderne Datenanalyse. 11th ed. München: Pearson-Studium; 2008.
33.
Döring N, Bortz J. Datenerhebung. In: Döring N, Bortz J, editors. Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Berlin, Heidelberg: Springer; 2016. p.321-577. DOI: 10.1007/978-3-642-41089-5_10 Externer Link
34.
Bortz J, Lienert GA, Boehnke K. Verteilungsfreie Methoden in der Biostatistik. 3rd ed. Heidelberg: Springer Medizin Verlag; 2008.
35.
Rammstedt B. Reliabilität, Validität, Objektivität. In: Wolf C, Best H, editors. Handbuch der sozialwissenschaftlichen Datenanalyse. Wiesbaden: VS-Verlag für Sozialwissenschaften; 2010. p.239-258. DOI: 10.1007/978-3-531-92038-2_11 Externer Link
36.
Bittner A, Bittner J, Jonietz A, Dybowski C, Harendza S. Translating medical documents improves students' communication skills in simulated physician-patient encounters. BMC Med Educ. 2016;16:72. DOI: 10.1186/s12909-016-0594-4 Externer Link
37.
Operation Karriere. Unsere Vision ist es, Arzt und Patient auf Augenhöhe zu bringen. Köln: Deutscher Ärzteverlag GmbH; 2017. Zugänglich unter/available from: https://www.operation-karriere.de/karriereweg/bewerbung-berufsstart/unsere-vision-ist-es-arzt-und-patient-auf-augenhoehe-zu-bringen.html Externer Link
38.
Kühnel SM, Krebs D. Statistik für die Sozialwissenschaften. Grundlagen, Methoden, Anwendungen. 4th ed. Reinbek: Rowohlt; 2007.
39.
Schmidt RC. Managing Delphi surveys using nonparametric statistical techniques. Decision Sci. 1997;28(3):763-774. DOI: 10.1111/j.1540-5915.1997.tb01330.x Externer Link