gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Visiten in der Inneren Medizin – Validierung einer Entrustable Professional Activity (EPA) Beobachtungs-Checkliste

Artikel Kompetenzorientiertes Prüfen

  • corresponding author Valerie Schmelter - Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland; Klinikum der Universität München, Medizinische Klinik und Poliklinik IV, München, Deutschland
  • author Esther März - Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland
  • author Christian Adolf - Klinikum der Universität München, Medizinische Klinik und Poliklinik IV, München, Deutschland
  • author Teresa L. Wölfel - Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland; Klinikum der Universität München, Medizinische Klinik und Poliklinik IV, München, Deutschland
  • author Christian Lottspeich - Klinikum der Universität München, Medizinische Klinik und Poliklinik IV, München, Deutschland
  • author Martin R. Fischer - Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland
  • author Ralf Schmidmaier - Klinikum der Universität München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland; Klinikum der Universität München, Medizinische Klinik und Poliklinik IV, München, Deutschland

GMS J Med Educ 2018;35(2):Doc17

doi: 10.3205/zma001164, urn:nbn:de:0183-zma0011649

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2018-35/zma001164.shtml

Eingereicht: 30. Oktober 2017
Überarbeitet: 8. Februar 2018
Angenommen: 12. März 2018
Veröffentlicht: 15. Mai 2018

© 2018 Schmelter et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Ziel: Visiten stellen eine zentrale tägliche Aufgabe im Krankenhausalltag dar. Auf der Basis der Entrustable Professional Activity „Durchführung von Visiten in der Inneren Medizin“, die 10 Kompetenzen und 25 dazugehörige Tätigkeiten umfasst, ist das Ziel dieser Studie die Bewertung der inhaltlichen und externen Validität der Beobachtungs-Checkliste.

Methode: Eine Fokusgruppendiskussion diente der inhaltlichen Validierung der Checkliste. Fünf TeilnehmerInnen bewerteten die Checkliste hinsichtlich der Vollständigkeit und Verständlichkeit. Zur Prüfung der externen Validität wurden 14 authentische Visiten aufgezeichnet. Zwei Beobachter füllten die Checkliste hinsichtlich des Auftretens bestimmter Tätigkeiten in den Videos aus.

Ergebnisse: Nach einigen Anpassungen bewerteten die TeilnehmerInnen der Fokusgruppe die Checkliste, die final aus neun Kompetenzen, 25 Aktivitäten und 110 Beipielen beobachtbaren Verhaltens besteht, als umfassend. Dies bestätigte die inhaltliche Validität der Checkliste. Die externe Validität wurde im Rahmen der Betrachtung von Visitenvideos untersucht. Die Checkliste wurde als wertvolles Hilfsmitel angesehen, die die Beobachtung strukturiert. Die hohe Häufigkeit beobachteter Verhaltensweisen sowie die hohe Interrater-Reliabilität bekräftigen die externe Validität der Checkliste.

Schlussfolgerung: Eine erste wissenschaftlich entwickelte umfassende Beobachtungs-Checkliste für die EPA “Durchführung einer Visite in der Inneren Medizin” wird dargestellt. Die Checkliste ist ein wertvolles Instrument, um elaboriertes Feedback im Medizinstudium und in der postgraduierten Medizin zu geben. Weitere Forschung sollte eine multi-institutionelle Validierung sowie die Differenzierung der Levels of Supervision in den Blick nehmen.

Schlüsselwörter: Beobachtungs-Checkliste, Entrustable Professional Activity, EPA, Innere Medizin, Validierungsstudie, Visite


1. Hintergrund

Die Durchführung von Visiten ist eine wichtige alltägliche Tätigkeit, die von ÄrztInnen nach Abschluss ihres Studiums erwartet wird [1]. Visiten verfolgen zwei Ziele: erstens dienen sie als Möglichkeit der Planung und Bewertung der Behandlung von Patienten zu der alle daran beteiligten Professionen beitragen [2], [3]. Zweitens dienen sie als Ort der Lehre und ermöglichen die Vermittlung klinisch relevanten Wissens und Fertigkeiten, indem diese in einen authentischen Kontext eingebettet sind [4]. Mögliche Lernziele beziehen sich auf die körperliche Untersuchung, Kommunikation mit Patienten und dem Visitenteam, Professionalität, Diagnosekompetenz, die Behandlung sowie ökonomische und ethische Aspekte der Patientenversorgung [4], [5], [6]. Die Teilnahme an Visiten trägt folglich dazu bei, Studierende auf die Anforderungen ihres späteren Arbeitsplatzes vorzubereiten. Trotz dieser Bedeutsamkeit wird das Potential der Visite für die Lehre häufig vernachlässigt [7], [8]: Studierende nehmen selten an ihnen teil [6] oder berichten von einer ungenügenden Supervision [4]. Empirische Studien weisen zudem darauf hin, dass Studierende Defizite in essentiellen Visitenkompetenzen aufweisen, insbesondere im Bereich des Kurve lesens, Verschreibung von Medikamenten, Dokumentation von Behandlungsplänen [1] aber auch in der Kommunikation mit Patienten und dem Visitenteam [2]. Studierende haben außerdem Schwierigkeiten, den Visitenprozess und die Aufgaben der an der Visite beteiligten Personen zu verstehen [7]. Hierfür werden mehrere Erklärungsansätze gegeben: ÄrztInnen haben selbst nur wenig formales Training in dem Bereich erfahren und haben allgemein wenig Lehrerfahrung. Aber auch der Visitenkontext selbst kann herausfordernd sein [7], [9] und die Integration beider Ziele in die Visite erschweren [5], [10]. Weiterhin ist vielen ÄrztInnen die Rolle der Studierenden in der Visite nicht klar [11]. Einige dieser Schwierigkeiten sollten durch die Implementierung von Checklisten reduziert werden. Diese adressieren den Visitenprozess als solches [12], [13] und spezifische Visitenkompetenzen, wie Kommunikation oder interprofessionelles Arbeiten im Team [2]. Diese Checklisten umfassten jedoch nur wenige Aktivitäten und ausgewählte Kompetenzen [2], [12], [13]. Weiterhin fehlten ihnen sowohl ein klares theoretisches Konzept, als auch eine wissenschaftliche Basis. Unsere erste Studie war die erste, in der systematisch zehn zentrale Kompetenzen, die essentiell für die Durchführung von Visiten in der Inneren Medizin sind, erfasst wurden. Auf deren Basis wurde eine Beobachtungs-Checkliste entwickelt. Zur Bewertung dieser ist eine inhaltliche und externale Validierung notwendig.

Beschreibung von Visitenkompetenzen uner Bezug auf das Konzept der Entrustable Professional Activities

Mit unserer vorangegangenen Studie [14] konzeptualisierten wir Lehrziele für Visiten und übersetzten diese in eine Entrustable Professional Activity (EPA) „Durchführung von Visiten in der Inneren Medizin“. Eine EPA ist ein Instrument, das die Entscheidung, ob eine für die Arbeit relevante Tätigkeit einem Trainee anvertraut werden kann, fördert [15] indem fünf Niveas notwendiger Aufsicht diferenziert werden. Diese Niveaus spiegeln die zunehmende Verantwortung, die ein Trainee übernimmt, wider:

1.
anwesend sein und beobachten,
2.
handeln unter direkter Beaufsichtigung,
3.
handeln unter indirekter Beaufsichtigung,
4.
handeln ohne Beaufsichtigung und
5.
beaufsichtigen.

Das letzte Ziel ist im Medizinstudium nicht erreicht werden, sollte aber Ziel der postgraduierten Weiterbildung sein. Eine EPA kontextualisiert Kompetenzen in die berufliche Praxis und klärt Aufgaben und Verantwortungen eines Trainees bei der Durchführung von Visiten. Sie stellt einen elaborierten und objektiven Überblick dar, der die Basis für Feedback und Assessment für sowohl das Medizinstudium, als auch die Weiterbildung bietet [11].

In unserer vorangegangenen Studie wurden visitenrelevante Kompetenzen und die dazugehörigen Tätigkeiten und Aufgaben erfasst, die ÄrztInnen nach Abschluss des Medizinstudiums ausführen können sollen [14]. Hierfür wurden 26 ÄrztInnen und Gesundheits- und KrankenpflegerInnen mit umfangreicher Visitenerfahrung interviewt. Sie repräsentierten die verschiedenen Spezialisierungen in der Inneren Meidzin und vertraten Krankenhäuser unterschiedlicher Versorgungsstufen. Die Interviews adressierten alle relevanten Visitenkompetenzen und -tätigkeiten, um die Erfordernisse der Durchführung von Visiten in der Inneren Medizin zu ergründen. Es wurden zehn Kompetenzen erfasst, die für die Durchführung von Visiten in der Inneren Medizin relevant sind:

1.
Kommunikation mit dem Patienten,
2.
Kommunikation mit dem Team,
3.
Diagnosestellung und Therapieplanung,
4.
Empathie,
5.
Führungsqualitäten,
6.
Problemlösefähigkeit,
7.
Organisationsfähigkeit,
8.
Professionalität,
9.
Selbstmanagement und
10.
Lehr- und Lernfähigkeit.

Jede Kompetenz wurde durch mehrere Aktivitäten umschrieben, um die professionelle Tätigkeit so detailliert und vollständig wie möglich zu beschreiben. Auf dieser Basis wurde die EPA „Durchführung von Visiten in der Inneren Medizin“ generiert. Es blieb jedoch unklar, ob die EPA einfach umgesetzt werden kann und ein nützliches Beobachtungsinstrument für die Charakteristika von Visiten an unserem Universitätsklinikum darstellt.

Ziel des Projekts

In diesem Hinblick wurden zwei separate Validierungsstudien durchgeführt, die die inhaltliche und externe Validität der Checkliste in den Fokus nahmen. Zwei Fragen wurden verfolgt:

1.
Stellt die EPA Beobachtungs-Checkliste einen verständlichen und vollständigen Überblick über die erforderlichen Visitenkompetenzen und -tätigkeiten dar?
2.
Kann die Beobachtungs-Checkliste als vollständiges und umsetzbares Beobachtunsinstrument angewendet werden?

2. Methode

2.1. Entwicklung und inhaltliche Validierung der EPA Checkliste
Überführung der EPA in eine Beobachtungsliste

Um die EPA für den professionellen Kontext anwendbar zu machen, musste der Inhalt der EPA zunächst um detaillierte Beschreibungen beobachtbaren Verhaltens und den Kontext dieser Verhaltensweisen ergänzt werden [15]. Die EPA „Durchführung einer Visite in der Inneren Medizin“, die ursprünglich zehn Kompetenzen und 25 dazugehörige Tätigkeiten umfasste, wurde daher verfeinert und um eineZusammenstellung an Beispielen ergänzt. Dadurch wurden die 25 Tätigkeiten greifbar und ermöglichten eine klare Entscheidung, ob eine Tätigkeit beobachtbar sei oder nicht. Insgesamt wurden 110 exemplarische Verhaltensweisen zu den dazugehörigen Tätigkeiten und Kompetenzen zugeordnet.

Fokusgruppendiskussion

Zur Bewertung der inhaltlichen Validität der Beobachtungs-Checkliste wurde eine Fokusgruppendiskussion durchgeführt. Diese werden oft für explorative Zwecke genutzt, aber auch als Tool zur (Kreuz-)Validierung angewendet. Durch die Interaktionen zwischen den TeilnehmerInnen der Fokusgruppe können Informationen aus dem ursprünglichen Datenmaterial optimalerweise gestärkt und erweitert werden [16].

TeilnehmerInnen an der Fokusgruppe

Die fünf TeilnehmerInnen repräsentierten die unterschiedlichen medizinischen Akteure an Visiten: vier Ärzte, die in der Inneren Medizin arbeiten und Berufserfahrung sowohl in der Patientenversorgung, als auch in der akademischen Lehre haben (M=16.75; SD=11.53 Jahre); eine Medizinstudentin im vierten Studienjahr, die durch ihr Studium und Famulaturen bereits umfangreiche Erfahrung mit Visiten gesammelt hat.

Vorbereitung auf die Fokusgruppendiskussion mit einer Computer-Basierten Plattform

Aufgrund der Komplexität der Beobachtungs-Checkliste wurden den TeilnehmerInnen der Fokusgruppe die Möglichkeit gegeben, sich bereits eine Woche zuvor mit der Checkliste vertraut zu machen. Hierfür wurde ihnen der Zugang zur computer-basierten Plattform CASUS, die ursprünglich als Lernplattform für problembasiertes Lernen in der Medizin entwickelt wurde [17] bereitgestellt. In der Online-Umgebung wurden die TeilnehmerInnen zunächst über den theoretischen Hintergrund von EPAs im Allgemeinen und über den Entwicklungsprozess der EPA „Durchführung einer Visite in der Inneren Medizin“ im Speziellen informiert. Nach dieser Einführung wurde jede Kompetenz mit ihren dazugehörigen Tätigkeiten und Beispielen auf einer separaten elektronischen Karte dargestellt.

Fokusgruppendiskussion

Nach dieser Vorbereitungsphase fand die Fokusgruppendiskussion statt. Sie war unterteilt in drei Teile:

1.
Einführungsphase,
2.
Diskussion der identifizierten Kompetenzen und Tätigkeiten,
3.
Anwendungsmöglichkeiten der Checkliste.
1.
Sowohl das EPA-Konzept als auch die Entwicklung der EPA “Durchführung einer Visite in der Inneren Medizin” wurden kurz wiederholt. Außerdem wurden den TeilnehmerInnen die Beobachtungs-Checkliste und das Ziel der Fokusgruppe vermittelt. Ihnen wurde die Möglichkeit gegeben, Rückfragen zu stellen.
2.
Die anschließende Diskussion wurde entlang eines vorstrukturierten Diskussionsleitfadens durchgeführt. Die Fragen bezogen sich auf die Konzeptualisierung und Struktur der Checkliste sowie die Verständlichkeit und Angemessenheit der Beispiele. Weiterhin bewerteten die TeilnehmerInnen, ob die Checkliste Visiten angemessen wiederspiegelt und somit eine solide Grundlage für die Bewertung dieser bildet.
3.
Der letzte Teil der Fokusgruppendiskussion widmete sich möglichen Einsatzmöglichkeiten der Checkliste sowohl im Medizinstudium als auch in der ärztlichen Weiterbildung.
Computer-Basierte Follow-Up-Phase

Die Video- und Tonaufzeichnungen wurden transkribiert und die Beiträge aller TeilnehmerInnen zusammengefasst, kritisch bewertet und die Beobachtungs-Checkliste auf dieser Basis überarbeitet. Um sicherzustellen, dass die Anpassungen der Intention der TeilnehmerInnen entsprachen, wurde die überarbeitete Checkliste erneut in CASUS eingepflegt. Die TeilnehmerInnen wurden gebeten, Feedback zu dieser überarbeiteten Version zu geben und ggf. notwendige Anpassungen vorzunehmen. Nach Rückmeldung aller TeilnehmerInnen wurden die Checkliste finalisiert. Anhang 1 [Anh. 1] zeigt die finale Checkliste.

2.2. Externe Validierung der EPA Beobachtungs-Checkliste

Um die externe Validität der Checkliste zu bewerten, wurde sie zur Beobachtung autentischer Videoaufzeichnungen von Visiten angewendet. Die Visiten wurden von sieben Visitenteams der Inneren Medizin an unserem Universitätsklinikum durchgeführt.

Vorbereitung und Setting

Um echte Patienten nicht zusätzlich zu belasten, wurden standardisierte Patienten eingesetzt. Zwei standardisierte Patientenfälle wurden von zwei erfahrenen Internisten (CL und RS) entwickelt: der erste Fall stellte eine anaphylaktische Reaktion dar, und im zweiten Fall hatte ein Patient Fieber unklaren Ursprungs. Diese Fälle stellen typische Erkrankungen in der Inneren Medizin dar und es wurde angenommen, dass diese unabhängig von der Spezialisierung in der Inneren Medizin lösbar seien. Die Fälle variierten in ihrer Komplexität, um die Variation der Visite in Abhängigkeit von der Schwere einer Erkrankung abzubilden. Die standardisierten Patienten wurden anhand eines Rollenskripts trainiert. Darüber hinaus begleitete eine standardisierte Medizinstudentin im sogenannten Praktischen Jahr jedes Visitenteam und machte anhand eines standardisierten Skripts eine kurze Patientenvorstellung ehe der Patient konsultiert wurde. Dies ermöglichte allen Visitenteams eine einheitliche Informationsbasis.

Aufzeichnung der Videos

Sieben Visitenteams unterschiedlicherSpezialisierungen der Inneren Medizin unseres Universitätsklinikums nahmen an den Videoaufzeichnungen teil (siehe Tabelle 1 [Tab. 1]). Um ökologische Validität zu gewährleisten, entsprachen die Zusammensetzung des Teams und die Anzahl der Teammitglieder dem jeweils aktuellen Dienstplan und dem üblichen Prozedere. Einige Visiten wurden ausschließlich von AssistenzärztInnen durchgeführt, während bei anderen auch Stations- bzw. OberärztInnen anwesend waren. An den Visiten auf zwei Stationen nahm darüber hinaus Pflegepersonal teil. In Einklang mit der Deklaration von Helsinki basierte die Teilnahme an den Videoaufzeichnungen auf Freiwilligkeit und die Ethikkommission der Medizinischen Fakultät genehmigte die Studie.

Jedes Visitenteam wurde von zwei Kameras gefilmt (jeweils eine vor und eine im Patientenzimmer) und alle Phasen der Visite wurden aufgezeichnet (Vorbereitung, Vorbesprechung des Patienten, Konsultation des Patienten, Nachbesprechung des Patienten). Die Visitenteams wurden gebeten, die Visiten wie gewohnt durchzuführen und erhielten darüber hinaus keine Anweisungen.

Externe Validierung der Checkliste durch Ratings der Videos

In einem ersten Schritt machten sich zwei Rater (VS und CA) mit dem Kodierprozedere auf Basis der Checkliste und den Kodierregeln vertraut. Zum Test des Kodiervorgehens betrachteten sie anschließend zwei Videos und füllten die Beobachtungs-Checkliste entsprechend der Kodierregeln unabhängig voneinander aus (siehe Anhang 1 [Anh. 1]). Die Ratings wurden verglichen, Diskrepanzen diskutiert und Beschreibungen in der Beobachtungs-Checkliste verfeinert. Anschließend betrachteten beide Rater alle aufgezeichneten Visiten und füllten die Beobachtungs-Checkliste unabhängig voneinander aus.

Wenn eine für eine in der Checkliste aufgeführte Tätigkeit charakteristische Verhaltensweise beobachtet wurde, wurde diese Tätigkeit als beobachtet gekennzeichnet. Entsprechend wurde eine Kompetenz als beobachtet markiert, wenn eine dazugehörige Tätigkeit beobachtet wurde.

Wenn eine Kompetenz nicht erforderlich war, wurde die Option „Nicht anwendbar“ markiert. Wenn eine Kompetenz erforderlich war, aber in einer spezifischen Situation nicht beobachtet werden konnte, wurde keine Markierung gemacht. Alle Tätigkeiten, die in der „Nicht anwendbar“-Kategorie gelistet wurden, wurden von der weiteren Analyse der Ratings ausgeschlossen. Die Interrater Reliabilität wurde über alle Videos hinweg berechnet. Es wurde ein Cohen’s Kappa Koeffizient von 0.73 erreicht, was für eine zufriedenstellende Übereinstimmung zwischen den Ratern spricht [18].


3. Ergebnisse

3.1. Inhaltliche Validierung der EPA Beobachtungs-Checkliste durch die Fokusgruppendiskussion

Die Fokusgruppendiskussion dauerte 118 Minuten und ermöglichte eine lebhafte Diskussion, in die jede/r TeilnehmerIn involviert war und ihre bzw. seine Meinung und Erfahrungen einbrachte. Die TeilnehmerInnen schätzten die Checkliste als ein nützliches Hilfsmittel ein, das nicht nur elaboriertes summatives und formatives Feedback und Assessment ermöglicht, sondern auch Lernprozesse und Selbstreflexion anregt. Die TeilnehmerInnen stimmten überein, dass neun der ursprünglichen Kompetenzen eine typische Visite sowie die damit einhergehenden Anforderungen an unserem Universitätsklinikum beschreiben:

1.
Kommunikation mit dem Patienten,
2.
Kommunikation mit dem Team und Führungsqualitäten,
3.
Diagnosestellung und Therapieplanung,
4.
Empathie,
5.
Problemlösefähigkeit und Führungsqualitäten,
6.
Organisationsfähigkeit,
7.
Professionalität,
8.
Selbstmanagement und
9.
Lehr- und Lernfähigkeit.

Führungsqualitäten wurden von allen TeilnehmerInnen als wichtige Kompetenzdismension angesehen, die jedoch nicht isoliert, sondern stets im Kontext mit anderen Kompetenzen betrachtet werden sollte. Diese Kompetenz und die dazugehörigen Tätigkeiten wurden daher zur Kommunikation mit dem Patienten und dem Team sowie zur Problemlösefähigkeit zugeordnet.

Die TeilnehmerInnen der Fokusgruppe wiesen außerdem darauf hin, dass Variationen in der Durchführung von Visiten in Abhängigkeit von Visitenzielen (Behandlung vs. Lehre), Eigenschaften des Patienten (z.B. Persönlichkeit, Schwere der Krankheit) und der Zusammensetzung des Visitenteams (Anzahl und Profession der Teammitglieder) abhängen.

Es wurden außerdem Anpassungen in Formulierungen und in der Beschreibung einiger Aktivitäten vorgenommen. Alle TeilnehmerInnen bekräftigten, dass die Checkliste ein gutes Verständnis der für die Visite relevanten Kompetenzen und Tätigkeiten ermöglicht und eine gute Grundlage für Feedback und Assessment darstellt. Allerdings wurde auch darauf hingewiesen, dass die Komplexität hinderlich für die unmittelbare Anwendung der Checkliste während der Visite sein kann.

In der Follow-up-Phase wurde die überarbeitete Checkliste allen TeilnehmerInnen über CASUS zugänglich gemacht und die sie wurden gebeten, anzugeben, ob sie mit den Veränderungen übereinstimmen. Im Fall eines Widerspruchs wurden sie aufgefordert, einen Grund sowie eine alternative Formulierung zu benennen. Die finale Beobachtungs-Checkliste findet sich in Anhang 1 [Anh. 1].

3.2. Externe Validierung der EPA Beobachtungs-Checkliste durch Beobachtung
Standardisierter Realer Videos von Visiten

Hinsichtlich der Generalisierbarkeit der Checkliste, ware eine multi-institutionelle Validierung im Rahmen realer Visiten wünschenswert. Zur wissenschaftlichen Bewertung der Checkliste war jedoch eine Standardisierung von Visitenszenarien erforderlich. Um die externe Validität der Checkliste zu bewerten, haben wir uns entschieden, echte Visiten standardisierter Patientenfälle in unterschiedlichen Kliniken, Stationen unterschiedlicher Spezialisierungen und verschiedenen Visitenteams zu videographieren. Einen Überblick über die Dauer der Videos zeigt Tabelle 2 [Tab. 2].

Die Forschungsfrage war, inwieweit die Checkliste geeignet ist, um das Betrachten von Visiten zu strukturieren und inwieweit diese einer typischen Visite entspricht.

Die Beobachtungs-Checkliste wurde erfolgreich angewendet und 488 Verhaltensweisen, die die 25 Visitentätigkeiten und neun Kompetenzen repräsentierten, wurden kodiert. Sechs Kompetenzen konnten unabhängig von Visitenteam und Patientenfall in jedem Visitenvideo beobachtet werden. Zwei Kompetenzen – Problemlösefähigkeit und Führungsqualitäten, Selbstmanagement – sowie die dazugehörigen Tätigkeiten konnten in keinem Video beobachtet werden. Die Tätigkeiten (Trainee leitet die Aufgabenverteilung, Trainee führt eine adäquate Dokumentation durch, Trainee erkennt und handelt bei der Notwendigkeit empathischen Handelns im Umgang mit dem Patienten) konnten nur in einigen Videos beobachtet werden. Anhang 2 [Anh. 2] gibt einen vollständigen Überblick über die Häufigkeit der Kodierungen. Beide Rater bewerteten die Checkliste als hilfreiche Strukturierung für die Betrachtung der Videos. Die klaren Kodierregeln erlaubten reliable Kodierungen.


4. Diskussion und Fazit

Die Durchführung von Visiten ist eine zentrale Tätigkeit von ÄrztInnen. Nichtsdestotrotz zeigten Forschungsergebnisse, dass sowohl ÄrztInnen, als auch Studierende Schwierigkeiten haben, Visiten durchzuführen und ihre Ziele zu verstehen. In unserer früheren Studie [14] haben wir eine EPA „Durchführung einer Visite in der Inneren Medizin“ entwickelt, die die erforderlichen Kompetenzen und dazugehörigen Tätigkeiten, die ÄrztInnen nach Abschluss ihres Studiums aufweisen sollten, umfasst. Wir führten zwei separate Validierungsstudien durch, um die inhaltliche und externe Validität der Beobachtungs-Checkliste zu bewerten.

Inhaltliche und externe Validität der Beobachtungs-Checkliste

Unter den TeilnehmerInnen der Fokusgruppendiskussion bestand Konsens, dass die initialen Kompetenzen eine typische Visite an unserem Universitätsklinikum abbilden. Allerdings wiesen sie darauf hin, dass Führungsqualitäten nicht isoliert, sondern im Kontext anderer Kompetenzbereiche betrachtet werden sollten. Nach einigen Anpassungen in der Formulierung und Beschreibung von Tätigkeiten stimmten alle TeilnehmerInnen zu, dass die Checkliste vollständig und zur Beschreibung von Visitenkompetenz geeignet ist. Daher kann die inhaltliche Validität der Checkliste angenommen werden. Zur Prüfung der externen Validität wurde die Beobachtungs-Checkliste zur Bewertung von 14 authentischen Visiten, die durch sieben Visitenteams durchgeführt wurden, herangezogen. Die Checkliste wurde als hilfreich zur Lenkung der Aufmerksamkeit auf visitenrelevante Aspekte angesehen. Die hohe Anzahl beobachteter Verhaltensweisen, bestätigt die Relevanz der neun Visitenkompetenzen und der dazugehörigen Tätigkeiten zur Abbildung des Visitenprozesses. Die externe Validität der Checkliste kann daher angenommen werden.

Herausforderungen bei der Anwendung der Beobachtungs-Checkliste

Trotz dieser positive Erkenntnisse zeigte sich auch, dass Tätigkeiten, die den Kompetenzen Problemlösefähigkeit und Führungsqualitäten und Selbstmanagement nicht beobachtbar waren. Auch waren Tätigkeiten im Bereich der Kommunikation mit dem Team und Führungsqualitäten und der Diagnosestellung und Therapieplanung nur in einigen Videos sichtbar. Es ist denkbar, dass das Studiendesign zu diesem Resultat führte. Wir nutzen standardisierte Fallvignetten, die die Vergleichbarkeit der gewonnenen Daten ermöglichten. Diese umfassten keine kritischen Situationen oder erforderten explizit Problemlösefähigkeiten. Zudem wurden nur Ausschnitte der gesamten Visite zu einem einzigen Zeitpunkt aufgezeichnet. Die Vor- und Nachbereitung der gesamten Visite war aus logistischen Gründen nicht über alle Stationen hinweg möglich, auch wenn diese Phasen der Visite zusätzliche Informationen geliefert hätten. Um Entscheidungen über die Anvertraubarkeit von Tätigkeiten an eine/n Trainee zu treffen, empfehlen wir daher, den/die Trainee mehrmals bei der Durchführung von Visiten zu beobachten und auch die Vor- und Nachbereitung der Visite zu berücksichtigen. Dadurch kann der Umgang mit Visiten unterschiedlicher Komplexität, unterschiedlichen Patientenfällen sowie mit besonderen Situationen beobachtet und eine solide Entscheidung getroffen werden [19], [20]. Aus ökologischen Gründen haben wir die Zusammensetzung der Visitenteams nicht manipuliert oder eine Zeitlimit für die Durchführung von Visiten gesetzt. Die daraus resultierenden Variationen können eine weitere Ursache für unsere Erkenntnisse sein.

Zusätzlich zu diesen Aspekten, die auf das Studiendesign zurückgehen, ist anzunehmen, dass einige Aktivitäten nicht sichtbar waren, da sie sich auf kognitive Prozesse beziehen. Per Definition kann die Beobachtungs-Checkliste diese Tätigkeiten nicht umfassen [21]. Wir empfehlen, diese Tätigkeiten aufgrund ihrer Relevanz durch andere Formate, wie beispielsweise strukturierte Feedback-Gespräche oder Instrumente, die die indirekte Erfassung dieser Aspekte (z.B. Fragebögen zur Erfassung der Zufriedenheit mit dem Visitenprozess [22], Selbstreflexion [23]) ermöglichen, zu ergänzen. Als weitere Indikatoren für Entrustment-Entscheidungen können die Dauer und Unterbrechungen der Visite hinzugezogen werden [2], [24].

Entscheidungen zum Level of Supervision (LoS)

Entrustment-Entscheidungen dienen einer Einschätzung hinsichtlich der Fähigkeit einer/s Trainee/s, eine professionelle Tätigkeit auszuführen sowie der hierfür erforderlichen Beaufsichtigung. Die Entscheidungen sind sehr komplex und sind von mehreren Faktoren abhängig: Trainee, Supervisor, Kontext, Aufgabe sowie Beziehung zwischen Trainee und Supervisor [15], [25]. Aktuell besteht noch kein goldener Standard dahingehend, wie und wann dieser Entscheidungsprozess sich gestaltet. Bisher werden der Abschluss des Studiums bzw. der Facharztausbildung sowie Informationen die durch mehr oder weniger strukturierte Selbst- und Fremdeinschätzungen getroffen werden, hierfür genutzt, obwohl diese nicht unbedingt mit der professionellen Praxis übereinstimmen [26], [27], [28]. Ähnlich zu vorangegangenen Studien kann auch mit unserer Studie keine klare Abgenzung zwischen den fünf Niveaus, die Angaben über notwendige Supervision machen, getroffen werden. Wir empfehlen daher, die Checkliste als Instrument für formatives Feedback zu mehreren Zeitpunkten sowohl im Medizinstudium sowie in der ärztlichen Weiterbildung anzuwenden und Lernprozesse zu stimulieren.

Limitationen und nächste Schritte

Mit dieser Studie wurde die Validität einer Beobachtungs-Checkliste überüprüft. Mit einer umfassenden theoretisch-empirischen Grundlage geht sie über frühere Ansätze hinaus und ermöglicht außerdem einen Brückenschlag zwischen theoretischen Konzepten und der (klinischen)Ausbildungspraxis. Für die Studie zur Prüfung der externen Validität haben wir eine Standardisierung der Visitensituation gewählt. Hierdurch wurden vergleichbare Daten erlangt und die Betrachtung der Videos anhand der Checkliste konnte ohne weitere Beobachtungseffekte erfolgen. Mit insgesamt 14 Videos von sieben Visitenteams ist die Generalisierbarkeit zwar eingeschränkt, bildet jedoch eine solide Grundlage für zukünftige Studien.

Die dargestellte Beobachtungs-Checkliste stellt eine umfassende Zusammenstellung visitenrelevanter Kompetenzen sowie der dazugehörigen Tätigkeiten dar, die durch konkrete und beobachtbare Beispiele angereichert sind. Sie geht über frühere Ansätze [1], [2] hinaus, die weniger Tätigkeiten und nur spezifische Aspekte der Visite aufgriffen. Mit unseren beiden Studien konnten wir die inhaltliche und externe Validität der Beobachtungs-Checkliste bestätigen sowie Vorschläge zur Implementierung im Medizinstudium sowie in der postgraduierten Medizin machen. Wir halten die Checkliste für ein wertvolles Hilfsmittel, das evidenzbasiertes Assessment und elaboriertes formatives und summatives Feedback ermöglicht, und somit zur beruflichen Weiterbildung beiträgt.

Wie von den TeilnehmerInnen der Fokusgruppendiskussion angemerkt wurde, ist die Checkliste mit insgesamt 25 Aktivitäten und 85 Verhaltensfacetten sehr umfangreich, was hinderlich für die intuitive Anwendung im Verlauf der Visite sein kann. Daher möchten wir Trainees sowie Lehrende anregen, sich vor der Anwendung mit der Checkliste vertraut zu machen, um von ihrem Potential zu profitieren. Weiterhin empfehlen wir die Implementierung strukturierten Feedbacks im Anschluss an die Visite, das durch weitere Informationsquellen (z.B. Fragebögen) ergänzt wird. Hierdurch können Reflexions- und Lernprozesse angestoßen und die professionelle Entwicklung gefördert werden. Wie frühere Forschung herausstellte, haben nicht alle ÄrztInnen gute Lehrkompetenzen [29]. Daher erachten wir es für sinnvoll, spezifisches didaktisches Training für den Einsatz der Checkliste anzubieten.

Mit unseren Studien prüften wir die inhaltliche und externe Validität der Beobachtungs-Checkliste, die auf der EPA „Durchführung einer Visite in der Inneren Medizin“ basiert. Es zeigte sich, dass die Checkliste ein anwendbares Instrument zum Assessment von Visitenkompetenz darstellt. Die Implementierung der Checkliste sowohl im Medizinstudium, als auch in der beruflichen Praxis auf Station sind naheliegende und wünschenswerte nächste Schritte. Begleitende Forschung soll ein spezielles Augenmerk auf die Zuverlässigkeit der Checkliste für Assessment sowie deren Nutzbarkeit am Arbeitsplatz legen.


Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Nikendei C, Kraus B, Schrauth M, Briem S, Junger J. Ward rounds: how prepared are future doctors? Med Teach. 2008;30(1):88-91. DOI: 10.1080/01421590701753468 Externer Link
2.
Norgaard K, Ringsted C, Dolmans D. Validation of a checklist to assess ward round performance in internal medicine. Med Educ. 2004;38(7):700-707.
3.
Weber H, Stockli M, Nubling M, Langewitz WA. Communication during ward rounds in internal medicine. An analysis of patient-nurse-physician interactions using RIAS. Patient Educ Couns. 2007;67(3):343-348.
4.
Tariq M, Motiwala A, Ali SU, Riaz M, Awan S, Akhter J. The learners' perspective on internal medicine ward rounds: a cross-sectional study. BMC Med Educ. 2010;10:53. DOI: 10.1186/1472-6920-10-53 Externer Link
5.
Almutar S, Altourah L, Sadeq H, Karim J, Marwan Y. Medical and surgical ward rounds in teaching hospitals of Kuwait University: students' perceptions. Adv Med Educ Pract. 2013;4:189-193. DOI: 10.2147/AMEP.S52096 Externer Link
6.
Claridge A. What is the educational value of ward rounds? A learner and teacher perspective. Clin Med (Lond). 2011;11(6):558-562.
7.
O'Hare JA. Anatomy of the ward round. Eur J Intern Med. 2008;19(5):309-313. DOI: 10.1016/j.ejim.2007.09.016 Externer Link
8.
Reeves S, Rice K, Conn LG, Miller KL, Kenaszchuk C, Zwarenstein M. Interprofessional interaction, negotiation and non-negotiation on general internal medicine wards. J Interprof Care. 2009;23(6):633-645. DOI: 10.3109/13561820902886295 Externer Link
9.
Ramani S, Leinster S. AMEE Guide no. 34: Teaching in the clinical environment. Med Teach. 2008;30(4):347-364. DOI: 10.1080/01421590802061613 Externer Link
10.
Ker J, Cantillon P, Ambrose L. Teaching on a ward round. BMJ. 2008;337:a1930. DOI: 10.1136/bmj.a1930 Externer Link
11.
Chen HC, van den Broek WE, ten Cate O. The case for use of entrustable professional activities in undergraduate medical education. Acad Med. 2015;90(4):431-436. DOI: 10.1097/ACM.0000000000000586 Externer Link
12.
Roselle H, Gordon C, Steve J. Implementation of a considerative checklist to improve productivity and team working on medical ward rounds. Clin Gov. 2011;16(2):129-136.
13.
Weber H, Langewitz W. [The Basel standard for doctor's visits--chance for a successful interaction triad patient-doctor-nursing staff]. Psychother Psychosom Med Psychol. 2011;61(3-4):193-195. DOI: 10.1055/s-0030-1266079 Externer Link
14.
Wolfel T, Beltermann E, Lottspeich C, Vietz E, Fischer MR, Schmidmaier R. Medical ward round competence in internal medicine - an interview study towards an interprofessional development of an Entrustable Professional Activity (EPA). BMC Med Educ. 2016;16(1):174. DOI: 10.1186/s12909-016-0697-y Externer Link
15.
ten Cate O, Scheele F. Competency-based postgraduate training: can we bridge the gap between theory and clinical practice? Acad Med. 2007;82(6):542-547. DOI: 10.1097/ACM.0b013e31805559c7 Externer Link
16.
Stalmeijer RE, McNaughton N, Van Mook WN. Using focus groups in medical education research: AMEE Guide No. 91. Med Teach. 2014;36(11):923-939. DOI: 10.3109/0142159X.2014.917165 Externer Link
17.
Fischer MR, Schauer S, Grasel C, Baehring T, Mandl H, Gartner R, Scherbaum W, Scriba PC. [CASUS model trial. A computer-assisted author system for problem-oriented learning in medicine]. Z Arztl Fortbild (Jena). 1996;90(5):385-389.
18.
Bortz J, Döring N. Forschungsmethoden und Evaluation für Human-und Sozialwissenschaftler. Heidelberg: Springer; 2006.
19.
Oerlemans M, Dielissen P, Timmerman A, Ram P, Maiburg B, Muris J, van der Vleuten C. Should we assess clinical performance in single patient encounters or consistent behaviors of clinical performance over a series of encounters? A qualitative exploration of narrative trainee profiles. Med Teach. 2017;39(3):300-307. DOI: 10.1080/0142159X.2017.1270427 Externer Link
20.
ten Cate O. Nuts and bolts of entrustable professional activities. J Grad Med Educ. 2013;5(1):157-158. DOI: 10.4300/JGME-D-12-00380.1 Externer Link
21.
ten Cate O. Entrustability of professional activities and competency-based training. Med Educ. 2005;39(12):1176-1177. DOI: 10.1111/j.1365-2929.2005.02341.x Externer Link
22.
Krautter M, Koehl-Hackert N, Nagelmann L, Junger J, Norcini J, Tekian A, Nikendei C. Improving ward round skills. Med Teach. 2014;36(9):783-788. DOI: 10.3109/0142159X.2014.909585 Externer Link
23.
Aukes LC, Geertsma J, Cohen-Schotanus J, Zwierstra RP, Slaets JP. The development of a scale to measure personal reflection in medical practice and education. Med Teach. 2007;29(2-3):177-182. DOI: 10.1080/01421590701299272 Externer Link
24.
Castiglioni A, Shewchuk RM, Willett LL, Heudebert GR, Centor RM. A pilot study using nominal group technique to assess residents' perceptions of successful attending rounds. J Gen Intern Med. 2008;23(7):1060-1065. DOI: 10.1007/s11606-008-0668-z Externer Link
25.
Ten Cate O, Hart D, Ankel F, Busari J, Englander R, Glasgow N, Holmboe E, Iobst W, Lovell E, Snell LS, Touchie C, Van Melle E, Wycliffe-Jones K; International Competency-Based Medical Euducation Collaborators. Entrustment Decision Making in Clinical Training. Acad Med. 2016;91(2):191-198. DOI: 10.1097/ACM.0000000000001044 Externer Link
26.
Chen HC, McNamara M, Teherani A, Cate OT, O'Sullivan P. Developing Entrustable Professional Activities for Entry Into Clerkship. Acad Med. 2016;91(2):247-255. DOI: 10.1097/ACM.0000000000000988 Externer Link
27.
Schuwirth L, Ash J. Assessing tomorrow's learners: in competency-based education only a radically different holistic method of assessment will work. Six things we could forget. Med Teach. 2013;35(7):555-559. DOI: 10.3109/0142159X.2013.787140 Externer Link
28.
Sterkenburg A, Barach P, Kalkman C, Gielen M, ten Cate O. When do supervising physicians decide to entrust residents with unsupervised tasks? Acad Med. 2010;85(9):1408-1417. DOI: 10.1097/ACM.0b013e3181eab0ec Externer Link
29.
Dewey CM, Jonker G, Ten Cate O, Turner TL. Entrustable professional activities (EPAs) for teachers in medical education: Has the time come? Med Teach. 2017;39(8):894-896. DOI: 10.1080/0142159X.2016.1270447 Externer Link