gms | German Medical Science

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA)

09.09. - 12.09.2020, Zürich, Schweiz

Entscheidungsunterstützung beim formativen Assessment von Entrustable Professional Activities (EPAs): Analyse dokumentierter Diagnosen für die Entwicklung eines instanzbasierten Klassifikators

Meeting Abstract

Search Medline for

  • Friedrich Pawelka - WWU Münster, Institut für Ausbildung und Studienangelegenheiten, Münster, Deutschland
  • Zornitsa Shomanova - Universitätsklinikum Münster, Kardiologie I, Münster, Deutschland
  • Helmut Ahrens - WWU Münster, Institut für Ausbildung und Studienangelegenheiten, Münster, Deutschland

Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Zürich, 09.-12.09.2020. Düsseldorf: German Medical Science GMS Publishing House; 2020. DocP-006

doi: 10.3205/20gma032, urn:nbn:de:0183-20gma0323

Published: November 18, 2020

© 2020 Pawelka et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Fragestellung: In der medizinischen Ausbildung wird zunehmend das Konzept der EPAs in formativen Assessmentsituationen eingesetzt [1]. Dabei muss das Supervisionslevel von Fachexpert*innen eingeschätzt werden. Ein aktuell noch bestehender Mangel an geschultem Personal macht jedoch einen gezielten Einsatz notwendig.

Ein Ansatz, den die Autor*innen untersuchen, ist die automatische Berechnung eines potentiellen Supervisionslevels auf Basis vorhandener, bereits bewerteter Situationen. Weicht diese potentielle Einschätzung z.B. stark von vorherigen Einschätzungen ab, ist hier evtl. eine Überprüfung durch Expert*innen notwendig. Für diesen Ansatz müssen alle Daten, auf deren Basis eine Einschätzung erfolgt, digital vorliegen. Die Core-EPA 5: Document a Clinical Encounter in the Patient Record [2] eignet sich hierfür in besonderen Maße, da hier ausschließlich die (digitale) Dokumentation die Entscheidungsgrundlage bildet.

Die automatische Berechnung soll mithilfe eines instanzbasierten Klassifikators erfolgen, der auf Basis einer Ähnlichkeitsberechnung zwischen Situationen eine Aussage trifft [3]. In einem ersten Schritt soll ein Ähnlichkeitsmaß für codierte Diagnosen aus der internationalen statistischen Klassifikation der Krankheiten (ICD) entwickelt werden. Hierfür ist ein Datensatz notwendig, der eine große Streuung von ICD-Codes aufweist. In dieser Studie wurde daher ein bestehender Datensatz im Hinblick auf die Streuung codierter Diagnosen untersucht.

Methoden: Es wurde ein Datensatz einer Veranstaltungsreihe genutzt, in der Studierende Stationen durchlaufen, Simulationspatient*innen behandeln und in digitalen Formularen dokumentieren. Dieser umfasst zwei Assessments in der Kardiologie (Sommersemester 19 und Wintersemester 19/20) mit je 6 Stationen. In jeder Station konnten Diagnosen aus der ICD-10-GM (German Modification) ausgewählt werden. Pro Station wurde eine Referenzlösung von der Fachexpertin definiert.

Für die Analyse der Streuung erfolgte ein Clustering der ICD-Codes in die Ebenen Krankheitskapitel, Krankheitsgruppe, Kategorie und Subkategorie.

Ergebnisse: Die 6 Stationen wurden von 288 Studierenden durchlaufen. Dabei wurden 1648 Datensätze erstellt. In 854 Datensätzen (Station 1: 123, 2: 153, 3: 117, 4: 166, 5: 156, 6: 139) wurden Diagnosen über die Eingabemaske dokumentiert, 321 davon entsprachen der Referenzlösung. Die Codes verteilen sich über 12 Krankheitskapitel, 24 Krankheitsgruppen, 54 Kategorien und 97 Subkategorien (siehe Abbildung 1 [Abb. 1]).

Diskussion: Knapp die Hälfte der Studierenden hat entweder keine Diagnose dokumentiert oder dafür nicht die Eingabemaske verwendet. Die Gründe hierfür sind teilweise bekannt und werden aktuell beforscht.

Die Streuung der ICD-Codes scheint vor allem auf Kategorie- und Subkategorie-Ebene vielversprechend um differenzierte Ähnlichkeitsmaße zu entwickeln. In einem nächsten Schritt kann nun ein potentielles Ähnlichkeitsmaß, wie z.B. eine inverse gewichtete Pfadlänge zwischen zwei ICD-Codes, erforscht werden.


Literatur

1.
Koelkebeck K, Brouwer B, Ahrens H, Becker JC, Weih M, Marschall B, Arolt V, Ohrmann P. Einführung und Evaluation eines neuen Kurrikulums Psychiatrie und Psychotherapie. Nervenarzt. 2019;90(11):1170-1176.
2.
Association of American Medical College. Core Entrustable Professional Activities for Entering Residency - Curriculum Developers` Guide. Washington, DC: Association of American Medical Colleges; 2014.
3.
Aha DW, Kibler D, Albert MK. Instance-based learning algorithms. Mach Learn. 1991;6(1):37-66.