gms | German Medical Science

Reanimationen im Kindesalter treten sowohl prä- als auch innerklinisch deutlich seltener auf als bei Erwachsenen und gehen mit einer hohen Mortalität und Morbidität einher [1], [2], [3], [4]. Für die Mehrzahl der in der Kinder- und Jugendmedizin tätigen Ärztinnen und Ärzte ist es deshalb nicht möglich, Routine in diesen stressbehafteten Notfällen zu erlangen. Sie fühlen sich bei Reanimationen häufig unsicher und unvorbereitet [5], [6], [7]. Dies kann zu deutlichen Defiziten in der Notfallversorgung führen [8], [9], [10].

Unzureichende technische Fertigkeiten [8], [11], mangelnde Teamzusammenarbeit und Kommunikationsfehler werden als ursächlich für Defizite im Notfallmanagement angesehen [12], [13]. Um dies gezielt zu trainieren, wurden auch in der Pädiatrie auf Simulation basierende Schulungsformate etabliert [14], [15]. Ein effektives Simulationstraining bedarf jedoch neben einer strukturierten Entwicklung und der Einbettung in ein sinnvolles Lehrkonzept [16], [17] einer möglichst akkuraten Beobachtung und Bewertung der Teamleistung [18]. Dies ist Voraussetzung sowohl für ein effektives Debriefing im Anschluss an eine simulierte oder reale Notfallsituation [19], als auch für die wissenschaftliche Evaluation, Qualitätssicherung und Optimierung simulationsbasierter Schulungsformate.

Neben der Auswahl eines sinnvollen Bewertungsinstruments sind geschulte Beobachter*innen notwendig, um valide und reliabel technische Fertigkeiten, Teamzusammenarbeit und Kommunikation im Rahmen simulierter Notfallsituationen zu erfassen, zu analysieren und zu beurteilen [18], [20].

Ärztinnen und Ärzte in frühen Ausbildungsstadien oder klinisch unerfahrene Medizinstudierende wurden als Beobachter*innen mit wechselndem Erfolg für diesen Zweck eingesetzt [20], [21], [22], [23], [24], [25]. Die publizierten Beschreibungen des Trainings dieser Beobachter*innen sind uneinheitlich und spezifizieren zumeist nicht Inhalt oder Umfang [20], [21], [22], [23], [24]. Die systematische Schulung von Medizinstudierenden zur Beurteilung pädiatrischer Notfallsituationen im Rahmen von Simulationstrainings wurde bisher nicht untersucht. Die vorliegende Arbeit beschreibt die Entwicklung, Evaluation und erfolgreiche Implementierung eines mehrstufigen Beobachtertrainings für Medizinstudierende zur Bewertung der Leitlinienadhärenz, sowie der Teamarbeit und -kommunikation.

Für die Auswertung der Leitlinienadhärenz wurde die Performance Evaluationscheckliste für pulslose ventrikuläre Tachykardien (PEC-PVT) verwendet (siehe Anhang 1 [Anh. 1]) [25]. Sie evaluiert das Vorgehen eines Teams bei einem simulierten pädiatrischen Notfall mit Herz-Kreislauf-Versagen aufgrund eines defibrillierbaren Herzrhythmus. Bestehend aus 31 Items, die in drei Bewertungskategorien geteilt werden (Aufgabe nicht erfüllt, Aufgabe unvollständig/falsch/verspätet erfüllt, Aufgabe erfüllt), ist sie gut dafür geeignet, komplexe Aufgaben im Rahmen einer Reanimationssituation abzubilden. Zudem wird durch eine Wichtung der einzelnen Items zwischen essenziellen und weniger wichtigen Teilaspekten dieser Notfallsituation unterschieden. Die englische Version wurde an deutschen pädiatrischen Notfallteams validiert [26]. Vor der Anwendung in der vorliegenden Studie erfolgte eine Übersetzung ins Deutsche durch eine der Autorinnen der Originalpublikation und eine nachfolgende Konsensusbildung zwischen den Koautoren der Originalpublikation, sowie der Studienleiterin (NM). Eine Spezifizierung einzelner Items, Homogenisierung und Gliederung anhand der Phasen des Studienszenariums durch die Studienleiterin schloss sich an. Um eine möglichst akkurate Bewertung aller Items zu ermöglichen, wurde zudem ein Anwenderhandbuch durch die Studienleiterin entwickelt (siehe Anhang 2 [Anh. 2]). Darin wurden die Kriterien für die unterschiedliche Bewertung von Maßnahmen während der Simulation spezifiziert.

Die Evaluation der Teamarbeit und -kommunikation erfolgte mittels Teamwork Emergency Assessment Measure (TEAM) [27]. Bestehend aus 11 Items, die Aspekte der Teamleitung, der Teamarbeit und der Kommunikation auf einer 5-Punkt Likert-Skala („nie/fast nie“ bis "Immer/fast immer“) bewerten, sowie einer Globalbewertung der Teamarbeit (Skala von 1 bis 10), ist diese Checkliste einfach zu handhaben. Validität und Reliabilität des TEAM sind hoch [28], [29]. Da zum Zeitpunkt des Studienbeginns noch keine deutsche Version publiziert war, erfolgte eine Übersetzung der Checkliste ins Deutsche mittels Forward-Backward-Translation [30]. Auch hier wurde basierend auf den von Cooper veröffentlichten „TEAM Behavioural Markers“ [31] und dem Crew Ressource Management Konzept von Rall [32] ein Handbuch konzipiert, um den Anwender*innen spezifische und beobachtbare „Verhaltensanker“ [18] zur Verfügung zu stellen, die die extremen Enden der vorliegenden TEAM-Beobachtungsskala darstellen.

Es wurden 5 Medizinstudierende im mittleren bis fortgeschrittenen Ausbildungsstand (7. bis 13. Fachsemester) im Beobachtertraining geschult. Zwei der Studierenden wiesen als studentische Tutorinnen Basiskenntnisse in Simulationen auf, eine Studentin hatte bereits Erfahrung in Notfallmedizin als ausgebildete Rettungssanitäterin. Alle Studierenden waren Anfängerinnen in der strukturierten Beobachtung und Analyse simulierter Notfallsituationen.

Jede Studierende wurde in der Anwendung einer Checkliste geschult. Die Schulung in der Anwendung der spezifischen Performance Evaluationscheckliste (PEC-PVT) fand für zwei der Medizinstudierenden statt, während drei in der Anwendung des Team Emergency Assessment Measure (TEAM) trainiert wurden.

Das mehrstufige Schulungskonzept basierte auf publizierten Rahmenstrukturen für Beobachtertraining [18], [33], [34] und beinhaltete unterschiedliche Formate wie Selbststudium und interkollegiales Training, sowie drei für die Bewertung von Beobachtungen essenzielle Trainingsstrategien: im Rater Error Training werden typische Beobachtungsfehler und deren Vermeidung thematisiert, das Performance Dimension Training lehrt das Erkennen gewünschter Verhalten für das zu untersuchende Item und im Frame of Reference Training werden Variationen in der Qualität des gewünschten Verhaltens demonstriert [33], [34].

Die Schulungen fanden über einen Zeitraum von insgesamt sechs Wochen statt und wurden durch die Studienleiterin jeweils getrennt für die beiden Auswertungsinstrumente durchgeführt.

Den Medizinstudierenden wurden in externen Kursen für das Auswertungsthema relevante Basiskenntnisse vermittelt. Dazu nahmen zwei Studierende an zweitägigen Pediatric Advanced Life Support-Kursen des European Resuscitation Councils teil und drei Studierende an eintägigen Crew Ressource Management-Kursen. Hier wurde das Erkennen des kritisch kranken Kindes sowie lebenserhaltende Maßnahmen bei Atem- und Herz-Kreislauf-Stillstand, bzw. Aspekte der Teamführung, Teamkooperation und -kommunikation vermittelt.

Um den Auswertenden ein allgemeines Verständnis für das Bewerten, sowie typische Bewertungsfehler zu vermitteln, wurden theoretische Aspekte o. g. essentieller Trainingsstrategien [33], [34] im Selbststudium erarbeitet. Die Studierenden machten sich darüber hinaus mit den Bewertungsinstrumenten vertraut.

Nach einer strukturierten Zusammenfassung relevanter Bewertungsfehler mit anschließender Gruppendiskussion erfolgte ein individuelles Bewerten zweier Videobeispiele durch die Medizinstudierenden und die Studienleiterin. Hierzu fanden separate Schulungen für zwei Medizinstudierende in der Anwendung der spezifischen PEC-PVT, sowie für drei Medizinstudierende in der Anwendung des TEAM statt. Es wurden Beispiele für eine schlechte bzw. eine akzeptable Teamleistung gewählt. Die Erfassung der Teamleistung erfolgte auf den jeweiligen Checklisten. Anschließend wurden die Einzelitems mit speziellem Augenmerk auf die Items mit geringster Übereinstimmung zwischen den Medizinstudierenden und der Studienleiterin diskutiert und Gründe für ein substanzielles Abweichen benannt.

Für die zweite Videosession wurden erneut o. g. zwei Videos mit schlechter bzw. akzeptabler Teamleistung, sowie drei zusätzliche Videos anhand der Checklisten unter Nutzung der Beobachterhandbücher durch die Medizinstudierenden und die Studienleiterin unabhängig voneinander bewertet. Die anschließende Diskussion fokussierte auf die Einzelitems mit geringster Übereinstimmung. Auch hier fanden die Schulungen separat für die PEC-PVT und den TEAM statt.

Über einen Zeitraum von ca. 4 Wochen wurden von den Medizinstudierenden und der Studienleiterin weitere neun Videos anhand der Checklisten und unter Nutzung der Handbücher allein ausgewertet.

Die Übereinstimmung der Ergebnisse von TEAM bzw. PEC-PVT zwischen den einzelnen Medizinstudierenden einerseits und der Studienleiterin andererseits wurde mittels Berechnung des Kendall-tau-b-Korrelationskoeffizenten paarweise in den unterschiedlichen Phasen des Anwendertrainings überprüft. Der Kendall-tau-Koeffizient misst die Übereinstimmung der Beobachter und quantifiziert damit die Reliabilität des Beobachtungssystems. Dieser Koeffizient ist ein Rangkorrelationskoeffizient und nimmt Werte zwischen -1 und 1 an. Dieses Maß eignet sich für ordinale Daten, also zum Beispiel für Likert-Skalen. Dabei wird nur die Rangordnung der jeweiligen Werte berücksichtigt. Die Bestimmung von tau erfolgt mittels aller Einzelitems der Fragebögen [35]. Eine schwache bzw. geringe Übereinstimmung wird bei einem Kendall-tau-Koeffizienten von ≤0,4, eine moderate bei 0,41-0,7 und eine hohe Übereinstimmung bei Werten >0,7 angenommen [36].

Den berechneten Kendall-tau-Korrelationskoeffizienten liegen in Stufe 3 zwei Videos, in Stufe 4 fünf Videos und in Stufe 5 neun Videos zu Grunde. Die Festlegung der Anzahl der Videos ist in erster Linie dem großen Aufwand für jedes einzelne Video geschuldet. Es erfolgte die Bestimmung der paarweisen Übereinstimmungen, um jeweils die Einschätzung einer Studierenden im Vergleich zur Studienleiterin zu evaluieren.

Um mögliche Unterschiede zwischen den Bewertungen der Studierenden und der Studienleiterin auf Itemebene darzustellen, erfolgten nach Beendigung des Beobachtertrainings für den TEAM Mann-Whitney-U Tests (für die elf Einzelitems) und t-Tests (für die Globalbewertung). Analog dazu wurden Mann-Whitney-U-Tests für die Auswertung mittels PEC-PVT durchgeführt.

Die Datenanalyse erfolgte mit SPSS V24 (Armonk, NY: IBM Corp.).

Die Entwicklung des Beobachtertrainings erfolgte im Rahmen der Studie „Qualitätssicherung pädiatrischer Notfallversorgung durch Inhouse Simulationstraining an hessischen Kinderkliniken.“ Es liegt ein Ethikvotum der Ethikkommission der Philipps Universität Marburg vor (AZ: 172/16).

Alle fünf Medizinstudierenden absolvierten das Beobachtertraining vollständig. Es wurden 16 Videos (zwei Videos aus Stufe 3, fünf Videos aus Stufe 4 und neun Videos aus Stufe 5 des Beobachtertrainings) von jeweils 5 Beobachtungspaaren (jeweils eine Studentin und die Studienleiterin) ausgewertet. Bei 5 Beobachtungspaaren und 3 Zeitpunkten konnten 15 Kendall-tau-Koeffizienten berechnet werden (siehe Tabelle 1 [Tab. 1]).

Fünf der 15 tau zeigten eine schwache Übereinstimmung zwischen Medizinstudierenden und der Studienleitung, fünf eine moderate und fünf eine hohe Übereinstimmung (siehe Tabelle 1 [Tab. 1]). Bei drei Studierenden verbesserte sich die Übereinstimmung zwischen erster und zweiter Videoauswertung (Beobachtungspaar 1, 3 und 5).

Die durchgeführten U- und t-Tests zeigten keine signifikanten Unterschiede zwischen Studentinnen und der Studienleiterin auf Itemebene, d. h. es konnten keine einzelnen Items identifiziert werden, in denen die Auswertung von Anfängerinnen und Expertin differierten.

In dieser Arbeit wird ein mehrstufiges Beobachtertraining vorgestellt, dass Medizinstudierende ermöglicht, simulierte pädiatrische Notfallsituationen strukturiert zu evaluieren. Es wurden dazu unterschiedliche Schulungsformate und gut evaluierte Trainingsstrategien kombiniert [33], [34]. Ziel war es, für konsekutive Studien, die auf Videoauswertungen von Teamleistungen sowohl durch Expertinnen und Experten als auch durch trainierte Anfänger*innen beruhen, das Beobachtertraining zu evaluieren und die Übereinstimmung der Bewertung zu überprüfen.

Medizinstudierende sind in der Regel Anfänger*innen in der Bewertung von komplexen simulierten Notfallsituationen, für die sie deshalb bisher kaum herangezogen wurden. Freytag und Kollegen integrierten Studierende in die Bewertung von Teamzusammenarbeit und Kommunikation studentischer Notfallsimulationen nach vorherigem Beobachtertraining [20]. Es zeigte sich eine nachsichtigere Bewertung im Vergleich zu den erfahrenen Mitbeobachtern, was zu einer moderaten Interrater-Reliabilität führte [20], [37]. Initiale Interrater-Reliabilitäten vor der Teilnahme am Beobachtertraining wurden nicht bestimmt. Evans et al. untersuchten die Anwendung einer Checkliste zur Beurteilung von invasiven Prozeduren durch Studierende nach vierstündigem Beobachtertraining und fanden eine gute Übereinstimmung zwischen den Beobachtungen von Anfänger*innen und Expertinnen bzw. Experten [22]]. Sie schlossen daraus, dass die Vermittlung solcher Beobachtungsfähigkeiten auch ohne vorheriges Hintergrundwissen der Bewertenden möglich ist [22].

In unserer Arbeit konnten wir zeigen, dass Medizinstudierende als Anfänger*innen in der strukturierten Verhaltensbeobachtung im Rahmen eines Beobachtertrainings gute Interrater-Reliabilitäten erreichen können. Dies zeigte sich sowohl in der Evaluation komplexer Verhaltensweisen wie Teamarbeit und -kommunikation als auch in der Bewertung technischer Fertigkeiten wie der Leitlinienadhärenz. Bereits nach der Vermittlung von Basiskenntnissen (Stufen 1 bis 3 des Trainings) wurde eine gute Übereinstimmung in der Bewertung der Leitlinienadhärenz zwischen Anfängerinnen und Expertin nachgewiesen. Wir führen dies auf die strukturierte und ausführliche Vermittlung von Kenntnissen des Pediatric Life Supports noch vor der eigentlichen Videoauswertung zurück. Die Nutzung von Beobachterhandbüchern verbesserte im Folgenden v. a. die Interrater-Reliabilität der die Teamarbeit und Teamkommunikation Bewertenden (Stufe 4). Dieses Frame of Reference Training hat sich in früheren Studien als besonders effektiv in Bewertertrainings gezeigt [34]. Zuvor strukturiert vermittelte Grundkenntnisse des Crew Ressource Managements hatten nicht zu einer adäquaten Interrater-Reliabilität geführt. Ein erweitertes Beobachtertraining über die Auswertung von wenigen Übungsvideos hinaus (Stufe 5) scheint dagegen die Interrater-Reliabilität nicht weiter zu verbessern.

Medizinstudierende können demnach Expertinnen und Experten in der Beobachtung, Analyse und Bewertung von simulierten Notfallsituationen unterstützen. Dies ist im Rahmen eingeschränkter Personalressourcen relevant, da simulationsbasierte Schulungsformate in der medizinischen Aus- und Weiterbildung zunehmend genutzt werden. Neben dem Training technischer und nicht-technischer Fertigkeiten [38] erfolgen Simulationstrainings mit dem Ziel, Patientensicherheit relevante Aspekte zu thematisieren [39], [40] sowie wiederkehrende und häufig vermeidbare Behandlungsfehler im Notfallmanagement zu identifizieren [41], [42], [43]. Hierzu ist auch eine adäquate Ausbildung nicht studentischer Dozent*innen, d. h. der lehrenden Ärztinnen und Ärzte erforderlich. Neben den medizinischen Fachkompetenzen sollte eine strukturierte Vermittlung von Grundkenntnissen in der Bewertung, sowie in typischen Bewertungsfehlern in die Ausbildung von Dozent*innen integriert werden.

Diese Studie hat mehrere Limitationen.

Der Team Emergency Assessment Measure wurde ursprünglich für Expertinnen und Experten, nicht für die Anwendung durch Anfänger*innen in der Verhaltensbeobachtung entwickelt und zeigte hier eine gute Validität und Reliabilität [27], [44]. Da vor Beginn des eigentlichen Beobachtertrainings keine paarweise Videoauswertung erfolgte, ist die Konstruktvalidität dieser Checkliste bei Anfänger*innen nicht bekannt. Es zeigten sich jedoch bei 2 von 3 die TEAM-Checkliste auswertenden Beobachtungspaaren Verbesserungen in der Interrater-Reliabilität, so dass wir von einem Effekt des Beobachtertrainings ausgehen.

Die Evaluation der spezifischen Performance Evaluationscheckliste (PEC-PVT) ergab in dieser Arbeit im Vergleich zur Originalpublikation bessere Interrater-Reliabilitäten [26]. Bei der Übersetzung der Originalcheckliste ins Deutsche zeigten sich einzelne Items als nicht eindeutig formuliert. Diese wurden in der hier verwendeten deutschen Version präzisiert, was allein bereits zu einer verbesserten Interrater-Reliabilität geführt haben könnte.

Das hier vorgestellte Beobachtertraining ist sehr personal- und zeitintensiv und damit nicht uneingeschränkt auf andere Studien übertragbar. Da wir keine Verbesserung der Beobachterübereinstimmung in Stufe 5 des Beobachtertrainings nachweisen konnten, sehen wir keinen Vorteil von über wenige Übungsvideos hinausgehende Schulungen. Die Form des optimalen Schulungsmodells bleibt damit offen.

Zusammenfassend konnten wir zeigen, dass Medizinstudierende nach Durchlaufen eines Beobachtertrainings anhand von Videos technische Fertigkeiten, sowie Teamarbeit und -kommunikation von interprofessionellen Notfallteams in komplexen simulierten Notfallsituationen evaluieren können. Das Beobachtertraining sollte strukturiert erstellt sein und etablierte Schulungskonzepte enthalten. Ein erweitertes Training über die Verwendung von wenigen Übungsvideos hinaus, scheint nicht notwendig.

Das Hessische Ministerium für Soziales und Integration finanzierte die Durchführung von pädiatrischen Notfalltrainings an hessischen Kinderkliniken, im Rahmen welcher Studienvideos erfolgten.

Open Access Förderung durch den Open Access Publikationsfonds der Philipps-Universität Marburg mit Unterstützung der Deutschen Forschungsgemeinschaft (DFG).

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.