gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Entwicklung und Validierung eines EPA-basierten Weiterbildungscurriculums im Bereich der Anästhesiologie: Eine Delphi-Studie

Artikel Anvertraubare Professionelle Tätigkeiten

  • corresponding author Parisa Moll-Khosrawi - Universitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Hamburg, Deutschland
  • Alexander Ganzhorn - Universitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Hamburg, Deutschland
  • Christian Zöllner - Universitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Hamburg, Deutschland
  • Leonie Schulte-Uentrop - Universitätsklinik Hamburg Eppendorf, Klinik- und Poliklinik für Anästhesiologie, Hamburg, Deutschland

GMS J Med Educ 2020;37(5):Doc52

doi: 10.3205/zma001345, urn:nbn:de:0183-zma0013450

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2020-37/zma001345.shtml

Eingereicht: 5. Januar 2020
Überarbeitet: 9. Juni 2020
Angenommen: 21. Juli 2020
Veröffentlicht: 15. September 2020

© 2020 Moll-Khosrawi et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Hintergrund: Postgraduelle Weiterbildungscurricula sollten sich weder an Zeiten, noch an vorgegebenen Richtzahlen von durchgeführten Prozeduren orientieren. Ein vielversprechender Ansatz, um kompetenzbasierte Curricula in den klinischen Alltag zu integrieren, ist das Konzept der Entrustable Professional Activities (EPA).

Methode: Die Teilnehmer dieser monozentrischen Querschnittsstudie waren Anästhesiologen verschiedener Ausbildungsgrade. Im ersten Schritt wurde durch eine Expertengruppe eine vorläufige Liste von EPAs definiert. Im Anschluss wurde die erste Delphi-Runde (N=47 Teilnehmer) durchgeführt, um alltägliche anästhesiologische Tätigkeiten zu identifizieren. Aus den Ergebnissen der ersten Delphi-Runde wurde durch die Mapping-Methode und durch eine Template-Analyse eine weitere Liste an EPAs definiert. Diese Liste wurde den Studienteilnehmern in einer zweiten Delphi-Runde (N=80 Teilnehmer) mit dem Ziel präsentiert, jede EPA zu validieren, eine Reihung vorzunehmen und das Jahr, in welchem diese anvertraut werden sollte, zu definieren. Dazu wurden die Teilnehmer in der zweiten Runde zu jeder EPA befragt, ob diese Teil eines anästhesiologischen Kerncurriculums sein sollte und in welchem Jahr der Weiterbildung diese anvertraubar sein sollte. Desweiteren wurden die Teilnehmer gebeten, jede EPA auf einer numerischen Skala hinsichtlich ihrer Relevanz zu bewerten. Aus den Ergebnissen der numerischen Skala wurde der Content Validity Index (CVI) berechnet. Die Übereinstimmung der Ergebnisse in der zweiten Delphi-Runde wurde untersucht, indem das Paneldatenmodell angewendet wurde, um die Intraklassen-Korrelation (ICC) zu berechnen. Weiterhin wurde die prozentuale Übereinstimmung zwischen den EPAs dieser Studie und bereits publizierten EPAs berechnet.

Ergebnisse: Ein Kerncurriculum bestehend aus 39 EPAs wurde entwickelt. Die EPAs wurden entsprechend ihrer Relevanz in eine hoch und niedrig bewertete Gruppe unterteilt. Ferner wurde das Weiterbildungsjahr festgelegt, in welchem die EPAs anvertraut werden sollten. Die Ergebnisse zeigten eine hohe Übereinstimmung in den unterschiedlichen Gruppen von Anästhesisten (der CVI als Maß für die Zustimmung betrug 0.96 für die EPAs und 0.83 für das Ausbildungsjahr, in welchem die EPA anvertraut werden sollte). Die Übereinstimmung mit den publizierten EPAs betrug 73.3%.

Schlussfolgerung: Diese Studie ist ein weiterer Schritt, um die postgraduelle anästhesiologische Weiterbildung zeitgemäß zu strukturieren. Weitere Untersuchungen sind notwendig, um dieses EPA basierte anästhesiologische Kerncurriculum zu vervollständigen und anzupassen.

Schlüsselwörter: Kerncurriculum, Anästhesie, Curriculum, Postgraduelle Weiterbildung


1. Hintergrund

Die aktuelle postgraduelle Weiterbildung ist traditionellerweise zeitbasiert und verlangt die Ableistung von zeitlich definierten Abschnitten. Das Demonstrieren von Kompetenzen ist kein Meilenstein zum Erwerb der Facharztreife [1]. Unter vielen Experten herrscht jedoch die Meinung vor, dass sich Ausbildungscurricula stärker am Erlangen von Kompetenzen orientieren sollten und nicht am zeitabhängigen Wissenszuwachs [2], [3], [4]. Dafür notwendige medizinische Kompetenzen sind unter anderem definiert durch die CanMeds Rollen oder das Rahmenprogramm des US Accreditation Council for Graduate Medical Education (ACGME) [5], [6]. Diese Rahmenprogramme wurden bereits weltweit genutzt, um sowohl studentische als auch postgraduelle, kompetenzbasierte Weiterbildungscurricula zu implementieren [1], [7]. Die postgraduellen Weiterbildungsprogramme werden von der Bundesärztekammer vorgegeben und von den jeweiligen Landesärztekammern individuell umgesetzt [8]. Die jetzige anästhesiologische Weiterbildungsordnung wurde zuletzt 2018 von der Bundesärztekammer überarbeitet und veröffentlicht [9]. Zum aktuellen Zeitpunkt sind die Weiterbildungsordnungen der Landesärztekammern in Überarbeitung. Bisher werden als Vorraussetzung zum Erlangen der Facharztreife geleistete Zeitabschnitte in unterschiedlichen Bereichen und der Nachweis von Mindestanzahlen durchgeführter klinischer Prozeduren gefordert. Das Ziel dieser Überarbeitung war die Fokussierung auf eine ergebnisorientierte Weiterbildung. Hierbei wurden vermehrt Kompentenzen als Ausbildungsziele integriert [10]. Bis heute ist die flächendeckende Implementierung von kompetenzbasierten Weiterbildungsprogrammen in der Praxis jedoch schwierig und mit dem klinischen Alltag schwer vereinbar. Eine Erklärung hierfür ist, dass eine kompetenzbasierte medizinische Weiterbildung (CBME) zu theoretisch und entfernt von der täglichen Routine ist. Das führt zu einer erschwerten Beurteilbarkeit von Kompetenzen (der Beschreibung der Qualität des Handelns einer individuellen Person) im Rahmen des klinischen Alltags [11], [12].

Ein Ansatz, die Lücke zwischen Kompetenzen und der klinischen Tätigkeit zu schließen, ist das Konzept der Entrustable Professional Activities (EPAs). Dieses Konzept macht die CBME durch eine Beschreibung der tatsächlichen Arbeit am klinischen Arbeitsplatz und deren Verknüpfung mit den notwendigen Kompetenzen umsetzbar [13]. Mehrfach wurde bereits der Bedarf für EPA basierte Curricula in der studentischen und postgraduellen Ausbildung aufgezeigt [14], [15], [16].

Eine EPA ist eine aufgabenspezifische Tätigkeit oder Verantwortung, welche sowohl verschiedene Kompetenzen, als auch Wissen und Fertigkeiten beinhaltet und einem Weiterzubildenden vollständig anvertraut werden kann [17]. Eine EPA muss sowohl messbar als auch beobachtbar sein [13]. Eine vollständig beschriebene EPA besteht aus 7 Komponenten [17]: Jede EPA sollte einen präzisen “Titel“ haben, welcher die Aktivität beschreibt. Der zweite Teil beschreibt die „Spezifikationen und Limitationen“ der Aktivität, gefolgt von den “relevanten Kompetenzen“. Dazu gehören ebenfalls die zugrundeliegenden kompetenzbasierten Rahmenprogramme. Um klarzustellen, welches Wissen, Auftreten und welche Fertigkeiten erwartet werden, damit ein Auszubildender die EPA durchführen kann, wurde die vierte Komponente “notwendige Erfahrung, Wissen, Fertigkeiten, Auftreten und Verhalten“ definiert. Da eine EPA eine spezifische Aufgabe beschreibt, welche vollständig anvertraut werden kann, müssen die dafür notwendigen Vorraussetzungen definiert sein. Diese finden sich in der fünften Komponente „Einschätzung der Informationsquellen, um den Fortschritt zu beurteilen und die Entscheidung, eine Tätigkeit anzuvertrauen, zu begründen“.

Zudem wird spezifiziert, welche Informationen durch den Lehrenden genutzt werden können, um das Anvertrauen einer Tätigkeit zu rechtfertigen. Die sechste Komponente beschreibt, an welchem Punkt der Weiterbildung welches Level an Supervision erreicht werden sollte (1. Anwesenheit und Beobachten, 2. Handeln unter direkter Supervision, 3. Handeln unter indirekter, jederzeit verfügbarer Supervision, 4. Handeln ohne direkt verfügbare Supervision, 5. Supervision anderer Kollegen). Die letzte Komponente einer EPA definiert den Zeitpunkt, ab dem eine EPA nicht mehr anvertraut werden sollte. Sollte in diesem Zeitraum keine Maßnahmen zum Kompetenzerhalt stattgefunden haben, wird die EPA nicht anvertraut.

Ein Beispiel für eine anästhesiologische EPA wäre die „Durchführung einer perioperativen anästhesiologischen Versorgung bei ausgedehnten abdominellen Operationen“. Die definierten Tätigkeiten sollten entsprechend große Teile professionellen Handelns beinhalten, damit dies ein Meilenstein in der Weiterentwicklung für den Auszubildenden darstellt. Weiterhin sollten anvertraute Tätigkeiten aufgrund des stetigen Wissenszuwachses, als ein sich stetig weiterentwickelnder und mit zunehmender Ausbildung komplexer werdender Teil des professionellen Handelns gesehen werden. Um die Definition von vielen kleinen EPAs zu verhindern, können kleine EPAs in größere EPAs eingebunden werden (sog. nested bzw. verschachtelte EPAs) oder praktische Tätigkeiten als „Observable Practise Activities“ (OPAs) in EPAs integriert werden [17], [18]. Ein Beispiel für eine OPA wäre die „Anlage eines zentralen Venenkatheters“. Diese praktische Tätigkeit ist notwendig für verschiedene EPAs und muss ebenfalls anvertraut werden können [17], [19].

Obwohl EPA-basierte Ausbildungsprogramme bereits in anderen Fachbereichen entwickelt wurden (z.B. Psychiatrie, Orthopädie, Gynäkologie oder Pädiatrie) [4], [20], [21], [22], fehlt es in der Anästhesiologie, trotz der zunehmenden kompetenzbasierten Ausbildung, weiter an einem EPA-basierten Curriculum [23], [24], [25]. Bisher haben nur wenige Kliniken EPAs in ihre postgraduelle Weiterbildung implementiert [https://sites.google.com/view/cbdwesternanes/list-of-epas], [https://www.anaesthesia.ie/epa/].

Jonker et al. beschreiben in ihrer „Agenda for development and research“ ein EPA-basiertes anästhesiologisches Curriculum und fordern, dass der erste Schritt in einer Konsensbildung aus der Erstellung einer Liste an EPAs bestehen sollte [19]. Nach aktuellem Kenntnisstand definiert die Publikation von Wisman-Zwarter et al. EPAs für die postgraduelle anästhesiologische Ausbildung, welche durch eine Befragung von anästhesiologischen Klinikdirektoren entstand. Dabei konnte gezeigt werden, dass ein existierendes Curriculum in ein auf EPAs basierendes Curriculum transformiert werden kann [26].

In unserer monozentrischen Querschnittsstudie, welche eine Delphi-Studie beinhaltete, entwickelten wir ein EPA-basiertes Kerncurriculum für die postgraduelle anästhesiologische Weiterbildung. Jede EPA wurde einem Ausbildungsjahr zugeordnet, in welchem diese anvertraubar sein sollte und eine Reihung bezüglich der Bedeutung von jeder EPA für die Weiterbildung durchgeführt.


2. Methode

2.1. Studiendesign und Teilnehmer

Diese Studie wurde an der Klinik- und Poliklinik für Anästhesiologie des Universitätsklinikums Hamburg-Eppendorf in Deutschland durchgeführt.

Das Design unserer monozentrischen Querschnittsstudie bestand in einem schrittweisen Ansatz, welcher Expertengruppenanalysen und die Delphi-Methode beinhaltete, um einen Konsens zwischen den Teilnehmern zu erzielen (siehe Abbildung 1 [Abb. 1]).

Expertengruppenanalysen sind eine anerkannte qualitative Forschungsmethode und werden in der medizinischen Lehrforschung häufig eingesetzt [27], [28], [29], [30], [31], [32], [33]. Das Delphi-Verfahren ist ein mehrstufiges, systematisches Verfahren, um Konsens innerhalb einer Population zu erreichen und Expertenmeinungen zu sammeln [34], [35].

Die Expertengruppe bestand aus drei Anästhesiologen verschiedener Ausbildungsniveaus mit fundierter Expertise in der postgraduellen Ausbildung. Vertreten waren zwei weibliche Teilnehmer (Ober- und Fachärztin) sowie ein männlicher Weiterbildungsassistent im zweiten Weiterbildungsjahr. Das durchschnittliche Alter betrug 33,3 Jahre.

Um sowohl die Meinung der Weiterbildenden (Oberärzte/innen, aufsichtsführende Fachärzte/innen), als auch die der Weiterbildungsassistenten zu erfassen, wurden alle Angestellten der Klinik und Poliklinik für Anästhesiologie (N=186) zur Teilnahme an dieser Studie eingeladen. Die Datenauswertung erfolgte sowohl für die Angaben der gesamten Studienkohorte, als auch für die Untergruppen (Subanalyse), um Unterschiede zwischen den Angaben der Ober-, aufsichtsführenden Fach-, regulären Fach- und Assistenzärzten der unterschiedlichen Ausbildungsjahre herauszuarbeiten.

Die Studiengröße ergab sich aus der Anzahl der teilnehmenden Angestellten. Um eine Verzerrung zu vermeiden, nahmen Mitglieder der Expertengruppe nicht an der Delphi-Studie teil.

Vor Studienbeginn erhielten alle Angestellten (N=186) im April 2018 eine Email, welche das Ziel der Studie erläuterte und Hintergrundinformationen zu EPAs enthielt.

2.2. Durchführung

Ein Überblick des Studienablaufs findet sich in Abbildung 1 [Abb. 1].

Entwicklung der vorläufigen EPAs (Expertengruppe)

Im ersten Schritt analysierte die Expertengruppe die aktuellen anästhesiologischen Ausbildungsprogramme und erstellte eine vorläufige Liste von EPAs. Diese EPAs waren nicht vollständig ausgearbeitet, wie in dem 7-Stufen Prozess gefordert (AMEE Guide No.99, Ten Cate et al. [17]). Der Fokus lag vor allem darauf, tägliche anästhesiologische Tätigkeiten, welche während der Facharztausbildung erlernt werden sollen, zu identifizieren und zu definieren (Schritt 1: Definition des Titels). Die Expertengruppe vergewisserte sich, dass alle definierten EPAs die notwendigen und realistischen Kriterien für ein EPA basiertes Kerncurriculum erfüllten und alle formalen Aspekte der deutschen anästhesiologischen Weiterbildungsordnung (Herausgegeben durch die Bundsärztekammer) beinhalteten [8]. Die Weiterbildungsordnung definiert Richtzahlen an anästhesiologischen Prozeduren, welche während der Ausbildung absolviert werden müssen, wie beispielsweise 50 Anlagen eines zentralen Venenkatheters oder 25 fiberoptische Intubationen. All diese formalen Aspekte wurden in der Entwicklung der vorläufigen EPAs berücksichtigt.

Die spezielle Schmerzmedizin ist in der Weiterbildungsordnung kein Bestandteil des anästhesiologischen Kerncurriculums und deshalb nur geringfügig in der vorläufigen Liste der EPAs enthalten. Spezielle intensivmedizinische Lernziele wurden ebenfalls nicht in der Entwicklung der EPAs integriert, da sich die aktuellen Entwicklungen in der Intensivmedizin auf einen interdisziplinären Ansatz der intensivmedizinischen Patientenversorgung fokussieren. Daher wäre die interdisziplinäre Entwicklung und Definition eines entsprechenden deutschen intensivmedizinischen Curriculums ein repräsentativerer und effektiverer Ansatz.

Delphi-Runde 1: Arbeitsplatz/Jobanalyse

Im Anschluss an die Definition der vorläufigen EPA-Liste wurde die erste Delphi-Runde durchgeführt. Die Studienteilnehmer erhielten Hintergrundinformationen bezüglich des Ziels der Studie und zu EPAs, basierend auf der deutschen Publikation von Breckwoldt et al. [36]. Die Studienteilnehmer führten eine Arbeitsplatzanalyse (Brainstorming) durch, in dem EPAs genannt werden sollten. Dafür wurde ein Freitextfeld mit der Frage: „Welche Aktivitäten fallen Euch ein, die ein Anästhesist in der Weiterbildung durchführt?“ zur Verfügung gestellt. Die vorläufige Liste an EPAs, welche durch die Expertengruppe generiert wurde, ist den Teilnehmern nicht offengelegt worden.

Die Daten der ersten Delphi-Runde wurden von der Expertengruppe analysiert und EPAs herausgefiltert. Im folgenden Anpassungsprozess verglich die Expertengruppe die aus der Delphi-Runde definierten EPAs mit denen der vorläufigen Liste und erstellte daraus eine neue Liste an EPAs (finale Liste), welche die Basis für die zweite Delphi-Runde bildete. Vor Beginn der zweiten Delphi-Runde wurde eine Testbefragung von 10 Anästhesiologen (7 Assistenzärzte und 3 Fachärzte) hinsichtlich eventueller Formulierungsdefizite und Vollständigkeit durchgeführt. Nach einer Erläuterung des Konzeptes und häufigen Missverständnissen bezüglich EPAs [17] wurde die Testgruppe befragt, ob die definierten EPAs die Kriterien einer EPA erfüllen (aufgabenspezifische Tätigkeit oder Verantwortung) und ob sie verständlich und für die anästhesiologische Ausbildung relevant seien.

Delphi-Runde 2:

In der zweiten Delphi-Runde wurde die finale EPA-Liste den Studienteilnehmern mit dem Ziel vorgelegt, jede EPA zu validieren, eine Reihung bezüglich der Relevanz vorzunehmen und das Jahr zu definieren, in welchem die jeweilige EPA anvertraut (indirekte Supervision) werden sollte. Hierzu wurden die Studienteilnehmer gebeten die folgenden drei Fragen zu jeder EPA zu bearbeiten:

  • Sollte diese EPA Bestandteil eines anästhesiologische Kerncurriculums sein? (Antwort: „ja“, „nein“)
  • Bitte hierarchisieren Sie jede EPA hinsichtlich ihrer Relevanz innerhalb der Facharztweiterbildung. (Bewerten Sie von 0=niedrige Priorität bis 4=höchste Priorität)
  • Bitte geben Sie an, zu welchem Zeitpunkt der Weiterbildung die EPA ohne direkte Supervision durch Fach- oder Oberarzt/ärztin anvertraut werden sollte. (Diese Frage wurde durch folgendes Zitat erklärt: Assistenten dürfen selbstständig, ohne direkt verfügbare Supervision handeln = Schritt 6 der Richtlinien von ten Cate [17]) (Wählen Sie aus zwischen dem 1. - 5. Weiterbildungsjahr und dem Facharztstandard (FA))
Vergleich der EPAs mit den von Wisman-Zwarter et al. publizierten EPAs

Um einen Einblick dahingehend zu geben, ob eine Vereinheitlichung der anästhesiologischen Weiterbildung in Europa erreicht werden kann, erfolgte der Vergleich zwischen unseren Ergebnissen und denen von Wisman-Zwarter et al. (Niederlande) [26].

2.3. Statistische Analyse

Die qualitative Datenanalyse (Expertengruppenanalyse für die vorläufige EPA-Liste und der Anpassungsprozess nach der ersten Delphi-Runde) wurde mit der Template [37] und Mapping Methode durchgeführt [38]. (Die Template Vorlage findet sich im Anhang, siehe Anhang 1 [Anh. 1])

Die statistische Analyse erfolgte mit SPSS (version 23.0, IBM Corp., Armonk, New York, USA). Für alle Delphi-Runden wurden deskriptive Statistikparameter berechnet (Mittelwerte, Standardabweichung und prozentuale Anteile).

Aus den Angaben der zweiten Delphi-Runde, in welcher die Teilnehmer jede EPA nach ihrer Priorität bewerten sollten (0=niedrigste Priorität bis 4=höchste Priorität), wurde der Content Validity Index (CVI) jeder EPA berechnet [39]. Der CVI ist ein Maß für die Inhaltsvalidität und spiegelt die Relevanz der jeweiligen EPA wieder. Ein Content Validity Index von größer 0.75 wird als „ausgezeichnet“ angesehen [40].

Die EPAs wurden auf Basis ihrer CVI in eine hoch (>0.75) und niedrig (<0.75) bewertete Gruppe unterteilt [41].

Für jede Frage der zweiten Delphi-Runde wurden Mittelwerte und Standardabweichungen berechnet. Der Konsens innerhalb der Gruppen wurde durch die Berechnung der Intraklassen-Korrelation (ICC) bestimmt. Hierbei wurde das Paneldatenmodell mit zufälligen Effekten angewandt [42]. Das Paneldatenmodell mit zufälligen Effekten wurde gewählt, da die EPAs durch ein zufällig ausgewähltes Kollektiv bewertet wurden. Eine ICC von <0.40 wird als schlechte Korrelation, zwischen 0.40 und 0.59 als angemessene Korrelation, zwischen 0.60 und 0.74 als gute Korrelation und zwischen 0.75 und 1.00 als ausgezeichnete Korrelation interpretiert [43].

Für unseren Vergleich mit den Ergebnissen von Wisman-Zwarter et. al. wurde die prozentuale Übereinstimmung aller EPAs berechnet.


3. Ergebnisse

3.1. Teilnehmer

Siebenundvierzig Anästhesisten (25% Rücklaufquote) nahmen an der ersten Delphi-Runde und achtzig (43% Rücklaufquote) an der zweiten Delphi-Runde teil. Tabelle 1 [Tab. 1] zeigt die Anzahl der Studienteilnehmer und das Jahr ihrer Weiterbildung bzw. Funktion.

3.2. Entwicklung der vorläufigen EPAs

Die vorläufige Liste von 47 EPAs, definiert von der Expertengruppe, wird in Tabelle 2 [Tab. 2] dargestellt.

3.3. Delphi-Runde 1: Arbeitsplatz/Jobanalyse

214 Antworten der Arbeitsplatzanalyse wurden durch die Expertengruppe als EPAs identifiziert. Hieraus wurden 30 verschiedene EPAs definiert. 182 Antworten wurden OPAs, nested (verschachtelte) EPAs oder anderen klinischen Tätigkeiten zugeordnet (siehe Anhang 2 [Anh. 2]).

3.4. Anpassungsprozess

In einem Anpassungsprozess wurde zunächst die vorläufige Liste der EPAs (N=47) mit den neu definierten EPAs (N=30) aus der ersten Delphi-Runde verglichen. Dies resultierte in einer neuen Liste von 39 EPAs, in welche die 30 EPAs der ersten Delphi-Runde integriert wurden. Einige EPAs, welche nicht genannt wurden oder Teil einer anderer EPA waren, wurden ausgeschlossen oder mit anderen EPAs zusammengeführt. Die Formulierung einiger vorläufiger EPAs war sehr breit gehalten, weshalb sie von der Expertengruppe in kleinere EPAs mit einer genaueren Unterteilung aufgeteilt wurde.

Eine detaillierte Beschreibung des Anpassungsprozesses findet sich im Anhang (siehe Anhang 3 [Anh. 3]).

Testung der finalen EPA Liste

Die Testgruppe stimmte zu, dass jede EPA für die anästhesiologische Weiterbildung relevant war und keine EPA fehlen würde. Weiterhin wurde zugestimmt, dass alle EPAs verständlich seien und die notwendigen Kriterien erfüllten.

3.5. Delphi-Runde 2

Alle Studienteilnehmer stimmten der Relevanz der einzelnen EPAs zu, sodass alle 39 EPAs in das Kerncurriculum übernommen werden konnten.

Die Tabelle in Anhang 4 [Anh. 4] zeigt den Content Validity Index (CVI) jeder EPA. Entsprechend des CVI (Maß für die Relevanz), sind die EPAs einer hoch (23/39) und niedrig (16/39) bewerteten Gruppe zugeteilt. Das Ausbildungsjahr, in welchem die jeweilige EPA anvertraut werden sollte, ist ebenfalls dargestellt.

Das hieraus resultierende Curriculum ist in Abbildung 2 [Abb. 2] dargestellt.

Der Konsens zwischen den Gruppen (reflektiert durch die ICC) für die Relevanz der einzelnen EPAs (CVI) und das Weiterbildungsjahr, in welchem die EPA anvertraut werden sollte, zeigte ausgezeichnete Ergebnisse. Die allgemeine Zustimmung lag bei 0.96 bezüglich der Relevanz jeder EPA und bei 0.83 für das Ausbildungsjahr, in welchem die EPA ohne Supervision durchgeführt werden sollte. Auch in der Subgruppenanalyse wurden hohe Übereinstimmungen erreicht: Die Frage, ab welchem Ausbildungsjahr eine EPA anvertraut werden sollte, erreichte einen Wert von >0.94. Der Konsens hinsichtlich des CVI erreichte eine niedrigere, jedoch auch gute Zustimmung, mit mindestens >0.63 zwischen den Ober-/aufsichtsführenden Fachärzten und Assistenten im 1. und 2. Jahr.

Die Zustimmung innerhalb der jeweiligen Gruppen, berechnet durch die ICC, sind in Tabelle 3 [Tab. 3] dargestellt

3.6. Vergleich der finalen 39 EPAs mit denen von Wisman-Zwarter et al.

In einer vorangegangenen Delphi-Studie präsentierten Wisman-Zwarter et al. [26] eine Liste von 45 EPAs für die anästhesiologische Weiterbildung (Übereinstimmung 70%). Teilnehmer der Studie waren niederländische Klinikdirektoren (Anästhesiologie). Ein direkter Vergleich mit der von Wisman-Zwarter et al. [26] erstellten Liste ist nicht möglich, jedoch stellten wir eine Übereinstimmung von 73,3% fest. Der Anteil von 26,6% von Wisman-Zwarter et al. [26], welcher nicht in unseren EPAs vorhanden ist, erklären wir dadurch, dass wir keine intensiv- oder schmerzmedizinischen EPAs in unser Curriculum aufgenommen haben. Ein detaillierter Vergleich beider Listen ist in den Ergänzungen zu finden (siehe Anhang 5 [Anh. 5]).


4. Diskussion

In unserer Studie definierten wir eine Liste von 39 EPAs, welche durch eine Expertengruppenanalyse und ein Konensverfahren (Delphi-Methode) von 80 teilnehmenden Anästhesiologen verschiedener Ausbildungsgrade zustande kam. Die 39 EPAs wurden entsprechend ihrer Wichtigkeit hierarchisch geordnet und das Weiterbildungsjahr definiert, in welchem die jeweilige EPA anvertraut werden sollte. Die AMEE Guideline No.99 von Ten Cate et al. [17], beschreibt sieben Schritte zur Entwicklung von Curricula, basierend auf EPAs. In unserer Studie setzten wir zwei der sieben beschriebenen Schritte um. Wir definierten den Titel jeder EPA (Schritt 1) und beschrieben das Jahr, in welchem diese anvertraut werden kann (Schritt 6). Ziel unserer Studie war es zunächst, einen ersten Schritt zu leisten, um die anästhesiologische Weiterbildung mit einem EPA-basierten Curriculum zu beschreiben. In weiterer Folge sollte das Curriculum auf nationaler Ebene validiert und angepasst werden, sowie die übrigen Schritte zur Definition eines EPA-basierten Curriculums vervollständigt werden. Dies würde zu einer besseren Akzeptanz führen und die nationale Implementierung unterstützen.

Eine der Stärken unserer Studie ist die heterogene Zusammensetzung der Expertengruppe, die aus einer Oberärztin, einer Fachärztin und einem Assistenten im zweiten Weiterbildungsjahr bestand. Durch die Zusammensetzung konnten wir einer potentiellen Verzerrung der Ergebnisse vorbeugen, denn häufig werden Probleme in der Weiterbildung von Ober- oder aufsichtsführenden Fachärzten anders wahrgenommen als von Weiterbildungsassistenten. Dies unterscheidet uns von der Arbeit von Wisman-Zwarter et al., in welcher ausschließlich Klinikdirektoren befragt wurden, was eventuell zu einer eingeschränkten Betrachtung geführt hat [26]. Wie bereits von Wisman-Zwarter et al. angemerkt, sollte ein EPA-basiertes Curriculum von einer breiten Gruppe an Interessenvertretern akzeptiert werden. Daher inkludierten wir in unsere Studie Anästhesiologen unterschiedlicher Ausbildungsgrade und auch supervidierende Ober- und Fachärzte.

Man mag einwenden, dass die erste Delphi-Runde überflüssig gewesen sei, denn es wurden lediglich 30 EPAs generiert, was an den möglicherweise mangelnden Kenntnissen über EPAs der Studienteilnehmer liegen könnte. Statt der ersten Delphi-Runde hätte gleich die Liste der EPAs aus der Expertenrunde diskutiert werden können. Um dem Problem der mangelnden Kenntnisse der Studienteilnehmer mit dem Konzept der EPAs vorwegzugreifen, erhielten diese vor Beginn der Studie und zu Beginn der ersten Delphi-Runde detaillierte Erläuterungen hinsichtlich des Konzeptes einer EPA-basierten Ausbildung, sowie weitere mündliche Erklärungen durch die Expertengruppe. Vor dem Hintergrund, dass die erste Delphi-Runde als Arbeitsplatzanalyse für die Anästhesiologen der unterschiedlichen Ausbildungsgrade diente, kann der Einwand, die erste Delphi-Runde sei redundant, entkräftet werden. Für weitere Untersuchungen sollte jedoch berücksichtigt werden, dass die Unvertrautheit der Studienteilnehmer mit dem Konzept der EPAs zu einer zeitintensiven Datenanalyse führen kann und die Diskussion einer vorläufigen Liste effizienter sein könnte.

Die Analyse der ersten Delphi-Runde führte zu Veränderungen der vorläufigen Liste an EPAs. In diesem Anpassungsprozess wurden einige EPAs zusammengefasst, während andere in mehrere Teilbereiche unterteilt wurden - hierdurch entstanden insgesamt 39 EPAs. Diese Anpassungen waren möglich, ohne die Vorgaben der Weiterbildungsordnung der Bundesärztekammer (ausgeschlossen der Lernziele in der Intensivmedizin) einzuschränken. Das Präzisieren der vorläufigen Liste der Expertengruppe ermöglichte es, die jeweiligen EPAs eingehend und aus verschiedenen Blickwinkeln zu überprüfen, um eine möglichst realitätsnahe Definition von alltägliches EPAs in der Anästhesiologie zu erreichen. Ein Beispiel für eine solche Anpassung ist den Fokus vom perioperativen Risiko weg und vermehrt auf den Patienten zu lenken. Bei einem ASA IV Patienten ist die Ausdehnung der Operation durchaus relevant, dem Weiterbildungsassistenten sollte jedoch die anästhesiologische Versorgung des genannten Patienten, unabhängig von der Operation, anvertraut werden. Ebenso muss allerdings auch bei chirurgischen Eingriffen, welche einen signifikanten Einfluss auf die anästhesiologische Versorgung haben können (ohne Fokussierung auf die jeweilige ASA Klassifikation), nach dem gleichen Prinzip vorgegangen werden.

Die Übereinstimmung der Studienteilnehmer bezüglich der Relevanz (CVI) [40], [41] jeder EPA und dem entsprechenden Ausbildungsjahr, in welchem eine EPA anvertraut werden sollte (Level 4), erreichte fast ausschließlich ausgezeichnete Zustimmungswerte (ICC) [43]. Einzig der Vergleich von Ober-/aufsichtsführenden Fachärzten mit den Assistenzärzten im 1. und 2. Jahr führte zu guten (nicht ausgezeichneten) Zustimmungswerten, bezüglich der Relevanz (CVI) der jeweiligen EPAs. Wir erklären dieses Ergebnis mit den verschiedenen Ausbildungsgraden und Erfahrung und den damit verbundenen Perspektiven auf die entsprechenden EPAs. Die EPAs mit der größten Diskrepanz waren „Innerklinischer Transport von Intensivpatienten“, „Postoperative Betreuung von Patienten im Aufwachraum“ und „Durchführung einer Prämedikation, Einschätzung des Bedarfs an Instrumentierung“.

Eine Erklärung wäre der Dunning-Kruger-Effekt, eine kognitive Verzerrung, bei welcher der junge Assistenzarzt (niedrige Fertigkeiten in diesen EPAs) seine Fähigkeiten überschätzt und sich der Bedeutung der EPA und den schwerwiegenden Konsequenzen von Fehlern nicht bewusst ist [44]. Die Ergebnisse der zweiten Delphi-Runde, welche unter anderem das Ausbildungsjahr beschreiben, in dem eine EPA anvertraut werden sollte, unterstützt diese Theorie: Beinahe alle angegebenen Ausbildungsjahre, in welchen das Anvertrauen stattfinden sollte, sind niedriger in der Gruppe der Assistenzärzte, als in denen der Ober- und Fachärzte.

Eine Limitation unserer Studie ist das monozentrische Design, da dies zu einer geringeren Akzeptanz unserer Ergebnisse für eine Reformierung von Curricula in anderen Fakultäten führen könnte. Desweiteren sind sowohl die Teilnehmer der Expertengruppe, als auch die Studienteilnehmer an einem Haus der universitären Maximalversorgung beschäftigt, was zu einer Verzerrung der Ergebnisse geführt haben könnte. Als Beispiel wäre die EPA “Durchführung einer Allgemeinanästhesie bei kardiochirurgischen Eingriffen“ zu nennen, welche anästhesiologische Fertigkeiten beinhaltet, die nicht notwendig für die Facharztreife sind - viele Krankenhäuser besitzen gar keine herzchirurgische Abteilung. Aus diesem Grund ist eine nationale Validierung um so wichtiger und andere Fakultäten könnten mit ähnlichen Untersuchungen dazu beitragen, einen breiteren, vielleicht sogar internationalen Konsens zu bilden.


5. Fazit

Unsere Studie präsentiert eine Liste von vorgeschlagenen EPAs in der anästhesiologischen Weiterbildung. Diese beinhaltet für jede EPA die Relevanz (CVI) und das Jahr der Weiterbildung, in welchem diese anvertraubar (Level IV) sein sollte. Eine weiterführende Validierung der EPAs sollte anhand einer größeren Zielgruppe (inklusive Klinikdirektoren) stattfinden, um einen breiteren Konsens zu erzielen. Im Anschluss sollten alle EPAs auf Grundlage der AMEE Guideline no.99, welche einen Sieben-Schritte-Ansatz für die Entwicklung eines EPA-basierten Curriculums beschreibt, vervollständigt werden [17]. Weiterführende Studien sollten untersuchen, ob die anästhesiologische Weiterbildung in Europa homogenisiert werden kann. Als Start für einen solchen Prozess fanden wir eine 73.3%ige Übereinstimmung mit den Ergebnissen unserer niederländischen Kollegen [26]. Unsere Studie liefert einen reproduzierbaren Ansatz, wie ein EPA-basiertes Curriculum entwickelt werden kann. Hiermit ist ein weiterer Schritt zur Transformation der postgraduellen, anästhesiologischen Weiterbildung hin zu einem zeitgerechten Ansatz getan. Dadurch kann verhindert werden, dass Entrustable Professional Activities nur ein weiteres Modewort, ohne Relevanz in der Medizin, bleiben [46].


Abkürzungen

  • EPA: Entrustable Professional Activity
  • OPA: Observable Practise Activity
  • SD: Standardabweichung
  • MV: Mittelwert
  • CVI: Content Validity Index
  • ICC: Intraklassen-Korrelation
  • ASA: American Society of Anesthesiology
  • YR: Jahr des Anvertrauens

Erklärungen

Ethikantrag und Einwilligung zur Teilnahme

Die Ethik-Kommission der Ärztekammer Hamburg erhielt eine detaillierte Projektbeschreibung und erteilte ihre Zustimmung zur Studie. Die Studienteilnehmer erteilten ihre Einwilligung zu Teilnahme und Datenverarbeitung durch Teilnahme an der Befragung. Diese Informationen zur Einwilligung sowie eine Studienbeschreibung waren in der Email enthalten, welche an alle potentiellen Teilnehmer versandt wurde. Dieses Prozedere (die Einwilligung der Teilnehmer durch Teilnahme an der Befragung) wurde in die Projektbeschreibung aufgenommen und von der Ethik-Kommission genehmigt.

Verfügbarkeit von Daten und Materialien

Die Daten, welche in dieser Studie genutzt/analysiert wurden, sind nahezu vollständig in den Ergänzungen enthalten bzw. können von den korrespondierenden Autoren auf begründete Anfrage hin angefordert werden.


Beitrag der Autoren

Alle Autoren haben das Manuskript gegengelesen und der Veröffentlichung zugestimmt.

PM-K leistete einen erheblichen Beitrag zur Entwicklung und Umsetzung des Projekts, der Datenerhebung sowie Analyse und Interpretation der Ergebnisse. Sie war führend an der Erstellung und kritischen Überarbeitung des Manuskripts beteiligt und gab ihre Zustimmung zur Publikation dieser Version.

Sie übernimmt Verantwortung für alle Aspekte dieser Arbeit und stellte sicher, dass alle Fragen bezüglich Vollständigkeit und Korrektheit der Arbeit gewissenhaft diskutiert und geklärt wurden.

AG leistete einen erheblichen Beitrag zur Entwicklung und Umsetzung des Projekts, der Datenerhebung sowie Analyse und Interpretation der Ergebnisse. Er war an der Erstellung und kritischen Überarbeitung des Manuskripts beteiligt und gab seine Zustimmung zur Publikation dieser Version. Er übernimmt Verantwortung für alle Aspekte dieser Arbeit und stellte sicher, dass alle Fragen bezüglich Vollständigkeit und Korrektheit der Arbeit gewissenhaft diskutiert und geklärt wurden.

CZ leistete einen signifikanten Beitrag zur Entwicklung und Umsetzung des Projekts, sowie Analyse und Interpretation der Ergebnisse. Er war an der Erstellung des Manuskripts sowie der kritischen Überarbeitung hinsichtlich Struktur und Inhalt beteiligt und gab seine Zustimmung zur Publikation dieser Version. Er übernimmt Verantwortung für alle Aspekte dieser Arbeit und stellte sicher, dass alle Fragen bezüglich Vollständigkeit und Korrektheit der Arbeit gewissenhaft diskutiert und geklärt wurden.

LS-U leistete einen signifikanten Beitrag zur Datenerhebung. Sie war beteiligt an der kritischen Überarbeitung des Manuskripts hinsichtlich Struktur und Inhalt und gab ihre Einwilligung zur Publikation dieser Version. Sie übernimmt Verantwortung für alle Aspekte dieser Arbeit und stellte sicher, dass alle Fragen bezüglich Vollständigkeit und Korrektheit der Arbeit gewissenhaft diskutiert und geklärt wurden.

Die Autoren Parisa Moll-Khosrawi und Alexander Ganzhorn haben äquivalente Leistungen zu dieser Arbeit beigetragen.


Danksagung

Wir möchten uns bei den Anästhesiologen der Klinik- und Poliklinik für Anästhesiologie des Universitätsklinikum Hamburg Eppendorf für ihre Teilnahme bedanken.


Interessenkonflikt

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Frank JR, Snell LS, Cate OT, Holmboe ES, Carraccio C, Swing SR, Harris P, Glasgow NJ, Campbell C, Dath D, Harden MR, Iobst W, Long DM, Mungroo R, Richardson DL, Sherbino J, Silver I, Taber S, Talbot M, Harris KA. Competency-based medical education: theory to practice. Med Teach. 2010;32(8):638-645. DOI: 10.3109/0142159X.2010.501190 Externer Link
2.
Carraccio C, Wolfsthal SD, Englander R, Ferentz K, Martin C. Shifting paradigms: from Flexner to competencies. Acad Med. 2002;77(5):361-367. DOI: 10.1097/00001888-200205000-00003 Externer Link
3.
Green ML, Aagaard EM, Caverzagie KJ, Chick DA, Holmboe E, Kane G, Smith CD, Iobst W. Charting the road to competence: developmental milestones for internal medicine residency training. J Grad Med Educ. 2009;1(1):5-20. DOI: 10.4300/01.01.0003 Externer Link
4.
Boyce P, Spratt C, Davies M, McEvoy P. Using entrustable professional activities to guide curriculum development in psychiatry training. BMC Med Educ. 2011;11(1):96. DOI: 10.1186/1472-6920-11-96 Externer Link
5.
Frank JR, Danoff D. The CanMEDS initiative: implementing an outcomes-based framework of physician competencies. Med Teach. 2007;29(7):642-647. DOI: 10.1080/01421590701746983 Externer Link
6.
Swing SR. The ACGME outcome project: retrospective and prospective. Med Teach. 2007;29(7):648-654. DOI: 10.1080/01421590701392903 Externer Link
7.
Morcke AM, Dornan T, Eika B. Outcome (competency) based education: an exploration of its origins, theoretical basis, and empirical evidence. Adv Health Sci Educ Theory Pract. 2013;18(4):851-863. DOI: 10.1007/s10459-012-9405-9 Externer Link
8.
Ärztekammer Hamburg. Logbuch Anästhesiolgie, Weiterbildung. Hamburg: Ärztekammer; 2015. Zugänglich unter/available from: https://www.aerztekammer-hamburg.org/logbuch_fachgebiete_schwerpunkte.html Externer Link
9.
Bundesärztekammer. (Muster-)Weiterbildungsordnung 2018. Berlin: Bundesärztekammer; 2018. Zugänglich unter/available from: https://www.bundesaerztekammer.de/fileadmin/user_upload/downloads/pdf-Ordner/Weiterbildung/MWBO-2018.pdf Externer Link
10.
Harden RM. AMEE Guide No. 14: Outcome-based education: Part 1-An introduction to outcome-based education. Med Teach. 1999;21(1):7-14. DOI: 10.1080/01421599979969 Externer Link
11.
Pangaro L, ten Cate O. Frameworks for learner assessment in medicine: AMEE Guide No. 78. Med Teach. 2013;35(6):e1197-e1210. DOI: 10.3109/0142159X.2013.788789 Externer Link
12.
Lurie SJ, Mooney CJ, Lyness JM. Measurement of the general competencies of the accreditation council for graduate medical education: a systematic review. Acad Med. 2009;84(3):301-309. DOI: 10.1097/ACM.0b013e3181971f08 Externer Link
13.
ten Cate O. Entrustability of professional activities and competency-bases training. Med Educ. 2005;39(12):1176-1177. DOI: 10.1111/j.1365-2929.2005.02341.x Externer Link
14.
ten Cate O, Graafmans L, Posthumus I, Welink L, van Dijk M. The EPA-based Utrecht undergraduate clinical curriculum: Development and implementation. Med Teach. 2018;40(5):506-513. DOI: 10.1080/0142159X.2018.1435856 Externer Link
15.
Chen HC, van den Broek WS, ten Cate O. The case for use of entrustable professional activities in undergraduate medical education. Acad Med. 2015;90(4):431-436. DOI: 10.1097/ACM.0000000000000586 Externer Link
16.
Berberat PO, Harendza S, Kadmon M. Entrustable professional activities-visualization of competencies in postgraduate training. Position paper of the Committee on Postgraduate Medical Training of the German Society for Medical Education (GMA). GMS Z Med Ausbild. 2013;30(4):Doc47. DOI: 10.3205/zma000890 Externer Link
17.
ten Cate O, Chen HC, Hoff RG, Peters H, Bok H, van der Schaaf M. Curriculum development for the workplace using entrustable professional activities (EPAs): AMEE guide no. 99. Med Teach. 2015;37(11):983-1002. DOI: 10.3109/0142159X.2015.1060308 Externer Link
18.
Warm EJ, Mathis BR, Held JD, Pai S, Tolentino J, Ashbrook L, Lee CK, Lee D, Wood S, Fichtenbaum CJ, Schauer D, Munyon R, Mueller C. Entrustment and mapping of observable practice activities for resident assessment. J Gen Intern Med. 2014;29(8):1177-1182. DOI: 10.1007/s11606-014-2801-5 Externer Link
19.
Jonker G, Hoff RG, Ten Cate OT. A case for competency-based anaesthesiology training with entrustable professional activities: an agenda for development and research. Eur J Anaesthesiol. 2015;32(2):71-76. DOI: 10.1097/EJA.0000000000000109 Externer Link
20.
Hauer KE, Kohlwes J, Cornett P, Hollander H, ten Cate O, Ranji SR, Soni K, Iobst W O'Sullivan P. Identifying entrustable professional activities in internal medicine training. J Grad Med Educ. 2013;5(1):54-59. DOI: 10.4300/JGME-D-12-00060.1 Externer Link
21.
Shaughnessy AF, Sparks J, Cohen-Osher M, Goodell KH, Sawin GL, Gravel Jr J. Entrustable professional activities in family medicine. J Grad Med Educ. 2013;5(1):112-118. DOI: 10.4300/JGME-D-12-00034.1 Externer Link
22.
Scheele F, Teunissen P, Luijk SV, Heineman E, Fluit L, Mulder H, Meininger A, Wijnen-Meijer M, Glas G, Sluiter H, Hummer T. Introducing competency-based postgraduate medical education in the Netherlands. Med Teach. 2008;30(3):248-253. DOI: 10.1080/01421590801993022 Externer Link
23.
Ringsted C, Østergaard D, Van der Vleuten C. Implementation of a formal in-training assessment programme in anaesthesiology and preliminary results of acceptability. Acta Anaesthesiol Scand. 2003;47(10):1196-1203. DOI: 10.1046/j.1399-6576.2003.00255.x Externer Link
24.
Van Gessel E, Mellin-Olsen J, Østergaard HT, Niemi-Murola L; Education and Training Standing Committee, European Board of Anaesthesiology, Reanimation and Intensive Care. Postgraduate training in anaesthesiology, pain and intensive care: the new European competence-based guidelines. Eur J Anaesthesiol. 2012;29(4):165-168. DOI: 10.1097/EJA.0b013e32834da759 Externer Link
25.
The anesthesiology milestone project. J Grad Med Educ. 2014;6(1 Suppl 1):15-28. DOI: 10.4300/JGME-06-01s1-30 Externer Link
26.
Wisman-Zwarter N, Van Der Schaaf M, Ten Cate O, Jonker G, Van Klei WA, Hoff RG. Transforming the learning outcomes of anaesthesiology training into entrustable professional activities: a Delphi study. Eur J Anaesthesiol. 2016;33(8):559-567. DOI: 10.1097/EJA.0000000000000474 Externer Link
27.
Hitzler R, Honer A, Maeder C, editors. Die institutionalisierte Kompetenz zur Konstruktion von Wirklichkeit. Wiesbaden: VS Verlag für Sozialwissenschaften; 1994.
28.
Basch CE. Focus group interview: an underutilized research technique for improving theory and practice in health education. Health Educ Quart. 1987;14(4):411-448. DOI: 10.1177/109019818701400404 Externer Link
29.
Asbury JE. Overview of focus group research. Qual Health Res. 1995;5(4):414-420. DOI: 10.1177/104973239500500402 Externer Link
30.
Morgan D. The focus group guidebook. Thousand Oaks: Sage publications; 1997. DOI: 10.4135/9781483328164 Externer Link
31.
Zwick MM, Schröter R. Konzeption und Durchführung von Fokusgruppen am Beispiel des BMBF-Projekts "Übergewicht und Adipositas bei Kindern, Jugendlichen und jungen Erwachsenen als systemisches Risiko ". In: Schulz M, Mack B, Renn O, editors. Fokusgruppen in der empirischen Sozialwissenschaft. Wiesbaden: VS Verlag für Sozialwissenschaften; 2012. p.24-48. DOI: 10.1007/978-3-531-19397-7_2 Externer Link
32.
Dorussen H, Lenz H, Blavoukos S. Assessing the reliability and validity of expert interviews. Eur Union Pol. 2005;6(3):315-337. DOI: 10.1177/1465116505054835 Externer Link
33.
Bogner A, Littig B, Menz W. Introduction: Expert interviews-An introduction to a new methodological debate. In: Bogner A, Littig B, editors. Interviewing experts. Basingstoke (UK): Palgrave Macmillian; 2009. p.1-13. DOI: 10.1057/9780230244276_1 Externer Link
34.
Williams PL, Webb C. The Delphi technique: a methodological discussion. J Adv Nurs. 1994;19(1):180-186. DOI: 10.1111/j.1365-2648.1994.tb01066.x Externer Link
35.
De Villiers MR, De Villiers PJ, Kent AP. The Delphi technique in health sciences education research. Med Teach. 2005;27(7):639-643. DOI: 10.1080/13611260500069947 Externer Link
36.
Breckwoldt J, Beckers S, Breuer G, Marty A. Entrustable professional activities. Anaesthesist. 2018:1-6. DOI: 10.1007/s00101-018-0420-y Externer Link
37.
Brooks J, McCluskey S, Turley E, King N. The utility of template analysis in qualitative psychology research. Qual Res Psychol. 2015;12(2):202-222. DOI: 10.1080/14780887.2014.955224 Externer Link
38.
Pelz C, Schmitt A, Meis M. Knowledge Mapping als Methode zur Auswertung und Ergebnispräsentation von Fokusgruppen in der Markt-und Evaluationsforschung. Forum Qual Sozialforsch. 2004;5(2).
39.
Martuza VR. Applying norm-referenced and criterion-referenced measurement in education. Boston: Allyn & Bacon, Incorporated; 1977.
40.
Lynn MR. Determination and quantification of content validity. Nurs Res. 1986;35(6):382-385. DOI: 10.1097/00006199-198611000-00017 Externer Link
41.
Polit DF, Beck CT, Owen SV. Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Res Nurs Health. 2007;30(4):459-467. DOI: 10.1002/nur.20199 Externer Link
42.
Koch GG. Intraclass correlation coefficient. Encyclopedia of statistical sciences. New York: John Wiley & Sons; 1982.
43.
Cicchetti DV. Guidelines, criteria, and rules of thumb for evaluating normed and standardized assessment instruments in psychology. Psychol Ass. 1994;6(4):284. DOI: 10.1037/1040-3590.6.4.284 Externer Link
44.
Dunning D. The Dunning-Kruger effect: On being ignorant of one's own ignorance. Advances in experimental social psychology. München: Elsevier; 2011. p.247-296. DOI: 10.1016/B978-0-12-385522-0.00005-6 Externer Link
45.
Ebert TJ, Fox CA. Competency-based Education in AnesthesiologyHistory and Challenges. Anesthesiol. 2014;120(1):24-31. DOI: 10.1097/ALN.0000000000000039 Externer Link
46.
Savoldelli GL, Van Gessel EF. 'Entrustable professional activities': the way to go for competency-based curriculum? Eur J Anaesthesiol. 2016;33(8):557-558. DOI: 10.1097/EJA.0000000000000472 Externer Link