gms | German Medical Science

Concept Maps sind grafische Darstellungen der Wissensorganisation von Lernenden und bestehen aus Konzepten, die mit verbindenden Worten in Beziehung zueinander gebracht werden [1]. Solche Maps können verstehendes Lernen fördern, Lehrende unterstützen, den Lernenden Feedback zu geben, und können auch als Prüfungsinstrumente eingesetzt werden [2], [3]. Durch die Erstellung von Concept Maps können Studierende ihre Wissensorganisation und Problemlösekompetenz verbessern, beides entscheidende Komponenten der klinischen Entscheidungsfindung (clinical reasoning) [4]. Darüber hinaus bieten Concept Maps Studierenden die Möglichkeit, Informationen zu komplexen klinischen Problemen zu organisieren. Sie fördern die Bildung von sogenannten Illness Scripts, indem sie die Studierenden in die Lage versetzen, klinische Muster, die für bestimmte Krankheiten charakteristisch sind, zu erkennen [5]. Lehrende können Concept Maps ihrer Studierenden analysieren, um Missverständnisse, Wissenslücken und Fehler der Lernenden zu erkennen [6].

Virtuelle Patient*innen (VPs) bieten eine sichere Lernumgebung, in der die Lernenden die Rolle von Ärzt*innen übernehmen, um klinische Entscheidungsfindung zu üben [7], [8]. Beim Bearbeiten von solchen Patient*innen Fällen, erheben die Studierenden klinische Befunde und treffen Entscheidungen im Hinblick auf den Diagnose- und Behandlungsprozess. In einer solchen sicheren VP Umgebung können Studierenden aus ihren Fehlern lernen und erhalten automatisches Feedback. Empirische Studien haben außerdem gezeigt, dass VPs den Erwerb von klinischer Entscheidungskompetenz unterstützen [8], [9].

Um das Training des klinischen Entscheidens zu verbessern und von Concept Maps zu profitieren, haben wir einen Concept-Mapping-Ansatz umgesetzt, bei dem die Lernenden dazu aufgefordert werden, ihren klinischen Denk- und Entscheidungsprozess zu visualisieren, während sie VPs lösen [10]. Lehrende haben hier die Möglichkeit, das Verständnis, die Wissensorganisation und die Verarbeitung klinischer Informationen bei jedem einzelnen Studierenden zu bewerten.

Eine frühere Studie zeigte keine Korrelation zwischen der Diagnosegenauigkeit und der Anzahl der Verbindungen, die Medizinstudierende bei der Arbeit an VPs in ihren Concept Maps zogen [11]. Der Einfluss valider Verbindungen auf die Diagnosegenauigkeit wurden jedoch bisher nicht untersucht. Ziel unserer Studie war es daher, festzustellen, ob die Qualität der Verbindungen zwischen den Konzepten in den Maps, die in einer VP-Umgebung entwickelt wurden, mit der Diagnosegenauigkeit der Studierenden assoziiert ist.

Die Assimilationstheorie von Ausubel bildete den theoretischen Rahmen für diese Studie [12]. Ausubel unterscheidet zwischen Auswendiglernen und verstehendem Lernen („meaningful learning“): Auswendiglernen hat weniger mit Vorwissen zu tun, weil es keine bewusste Anstrengung erfordert, um neue Informationen mit bestehenden Konzepten zu verbinden. Verstehendes Lernen beinhaltet die Entwicklung von Beziehungen zwischen Konzepten, bei denen die Bedeutung der Verwandtschaft von Wörtern von großer Bedeutung für die Entwicklung neuer Wissensstrukturen, neuer Bedeutungen und neuer Schlussfolgerungen ist. Das Ziehen von Verbindungen zwischen Konzepten ist entscheidend für die Förderung von propositionalem Wissen, das die Bedeutungen der Beziehungen zwischen Konzepten enthält. Daher stellten wir in unserer Studie die Hypothese auf, dass Studierende, die in ihren Concept Maps qualitativ hochwertige Verbindungen erstellen, besser abschneiden würden als diejenigen, die Verbindungen von geringer Qualität ziehen.

Wir haben Concept Maps analysiert, die von Medizinstudierenden im fünften Studienjahr an der medizinischen Fakultät der Jagiellonen-Universität in Krakau, Polen, erstellt wurden, die in den Jahren 2017-2019 am Kurs „Laboratory Training of Clinical Skills“ (LTCS) teilnahmen.

Im Rahmen des LTCS-Kurses mussten die Studierenden 16 VPs aus einem Pool von frei zugänglichen Fällen bearbeiten [https://crt.casus.net]. Der Zugriff auf die Fälle erfolgte über einen individuellen Zugang, um sich im Selbststudium auf den Unterricht vorzubereiten. Die VPs umfassten verschiedene Leitsymptomen und demografischen Variationen. Ein Teil der Aufgabe der Studierenden bestand darin, mit dem von den Autor*innen [10] entwickelten und in das CASUS VP-System integrierten Concept Mapping Werkzeug eine Concept Map für jede(n) VP zu erstellen (ein Beispiel ist in Abbildung 1 [Abb. 1] dargestellt). Diese Maps beinhalten Symptome, Differentialdiagnosen, Untersuchungen und Therapiemaßnahmen. An einem bestimmten Punkt des VP-Szenarios wurden die Studierenden aufgefordert, eine Diagnose zu stellen. Wenn diese falsch war, erhielten sie eine entsprechende Rückmeldung und konnten entweder erneut eine Diagnose stellen oder die richtige Diagnose vom System erhalten. Vor der Arbeit an den VPs wurden die Studierenden mit dem Concept Mapping Werkzeug in einem kurzen Videotutorial vertraut gemacht.

Von den 16 VPs, die von den Studierenden bearbeitet wurden, haben wir vier für eine eingehende Analyse ausgewählt. Bei der Auswahl der Maps haben wir die folgenden Kriterien angewandt: Die VPs enthielten relevante Inhalte für Medizinstudierende im 5. Jahr; die VPs deckten Diagnosen verschiedener Organsystemen (Magen-Darm, Herz-Kreislauf und Atemwege) ab; die VPs hatten unterschiedliche Schwierigkeitsgrade und Geschlechter (2 Männer und 2 Frauen). Anhand dieser Kriterien haben wir Maps zu folgenden Themen ausgewählt: Enterokolitis, Pneumonie, Colitis ulcerosa und Aortenklappenstenose.

Als nächstes teilten wir die von den Studierenden erstellten Concept Maps für diese vier VPs in zwei Gruppen ein, je nachdem, ob die erste gestellte Diagnose richtig oder falsch war. Um den Einfluss der Qualität der Verbindungen zu bewerten, haben wir die Gruppen nach der Anzahl der Verbindungen in den Maps stratifiziert (niedriger Bereich: 1-10 Verbindungen; mittel: 11-15; und hoch: 16-30). Insgesamt haben wir 40 Maps für die Analyse ausgewählt (20 in jeder Gruppe).

Schließlich bewerteten zwei Autor*innen (DT, IH) die Qualität dieser Verbindungen anhand einer von uns entwickelten Rubrik, die aus der Literatur zum relationalen Scoring abgeleitet wurde [2]. Im Gegensatz zum strukturellen Scoring konzentriert sich das relationale Scoring auf die Qualität und Bedeutung jeder einzelnen Verbindung und nicht auf die Gesamtorganisation, Hierarchie und Querverbindungen der Maps [13]. Die Bewerter*innen vergaben Punkte für jede Verbindung, je nachdem, ob sie korrekt und hilfreich (2 Punkte), teilweise korrekt (1 Punkt) oder inkorrekt (0 Punkte) war. Einzelheiten zu der in dieser Studie verwendeten Rubrik finden Sie im Anhang 1 [Anh. 1]. Cohens Kappa wurde als Maß für die Interrater-Reliabilität bei der Bewertung der Verbindungsqualität berechnet. Bei abweichenden Bewertungen wurde durch eine Diskussion zwischen den Bewerter*innen ein post-hoc-Konsens über die endgültige Punktzahl erzielt. Die Punkte für alle Verbindungen wurden addiert, um die Gesamtbewertung für jede Map zu erhalten.

Statistische Berechnungen wurden in Statistica 13.3 [https://www.tibco.com/] und R 4.1.2 [https://www.r-project.org/] durchgeführt, wobei das Signifikanzniveau auf α=0,05 gesetzt wurde. Wir verglichen die durchschnittliche Anzahl der Konzepte und Verbindungen zwischen den Gruppen mit dem t-Test und überprüften die Voraussetzung der Normalverteilung mit dem Shapiro-Wilk-Test. Die Kovarianzanalyse (ANCOVA) wurde eingesetzt, um den Unterschied in den mittleren Verbindungswerten zwischen den Gruppen zu untersuchen, wobei für die Anzahl der Verbindungen kontrolliert wurde. Cohens Kappa wurde als Maß für die Interrater-Reliabilität bei der Bewertung der Verbindungsvalidität berechnet, bevor ein Konsens über die endgültige Bewertung erzielt wurde.

Die Studie wurde von der Ethikkommission der Jagiellonen-Universität genehmigt (Nr. 122.6120.116.2016).

Insgesamt nahmen 222 Medizinstudierende im fünften Jahr an dem LTCS-Kurs teil. Die Studierenden erstellten 3382 Concept Maps, die eine finale Diagnose enthielten. Davon wurden in 623 Maps (18%) auch Verbindungen gezogen. Für die vier für die Analyse ausgewählten VPs gab es 176 Maps, von denen n=112 beim ersten Versuch zu einer korrekten Diagnose führten (Nicht-Fehler-Gruppe), während n=64 zu einer falschen ersten Diagnose führten (Fehlergruppe).

Wir haben für die Analyse eine Stichprobe von 40 Maps (20 mit und 20 ohne Fehler) ausgewählt. Diese Maps wurden von 32 verschiedenen Studierenden erstellt: Acht Studierende erstellten jeweils zwei Maps, 24 Studierenden jeweils eine. Die beiden Bewerter*innen erreichten bereits in der ersten Runde eine gute Übereinstimmung bei der Bewertung der Verbindungen (Kappa=0,85 CI=[0,79; 0,9]).

Die Maps der Studierenden in der Fehlergruppe unterschieden sich hinsichtlich der Anzahl der Konzepte und Verbindungen nicht von denen der Nicht-Fehler-Gruppe (siehe Tabelle 1 [Tab. 1]) (p>0,05). Allerdings war die Punktzahl für Verbindungen der Maps in der Nicht-Fehler-Gruppe signifikant höher als in der Fehler-Gruppe (p=0,03).

Unsere Studie zeigte, dass Studierende, die bei der Diagnosestellung Fehler machten, weniger korrekte Verbindungen in ihren Maps zogen als Studierenden, die keine Fehler machten. Die Ergebnisse dieser Studie werden durch die theoretischen Grundlagen der Assimilationstheorie [12] gestützt, die besagt, dass verstehendes Lernen durch propositionales Wissen entsteht und korrekte Verbindungen zwischen Konzepten auf tiefes Lernen und Verständnis hinweisen. Wir haben in unserer Studie auch gezeigt, dass fehlerhafte oder falsche Verbindungen zwischen Konzepten mit Diagnosefehlern in einer simulierten Umgebung zusammenhängen.

Eine Konsequenz daraus ist, dass Lehrende die Qualität der Verbindungen in Concept Maps als Indikator für die Wissensorganisation und das Verständnis der Lernenden bewerten sollten. Eine frühere Studie hat gezeigt, dass einfache automatische Metriken für die Leistung von Studierenden, die lediglich auf der Netzwerkstruktur basieren (z.B. auf der Anzahl von Konzepten oder Verbindungen in Concept Maps), für die Gabe von Feedback oder in Prüfungen nicht hilfreich sind [11]. Andere Studien empfehlen die Verwendung von Netzwerkeigenschaften wie der Graphendichte als Indikator für die Qualität von Concept Maps [14]. Unsere Studie legt nahe, dass Lehrende ihre Bemühungen auf die Bewertung der Validität von Verbindungen konzentrieren sollten, um die Wissensorganisation der Lernenden bei der klinischen Entscheidungsfindung zu beurteilen. Dieser Schritt sollte bei der Bewertung der Concept Maps der Studierenden nicht ausgelassen werden.

Das Hinzufügen sinnvoller Verbindungen zeigt eine gute Wissensorganisation und bietet einen guten Ansatz für Feedback [15]. Es hat sich gezeigt, dass die Verwendung von Concept Maps für die klinische Entscheidungsfindung Vorteile gegenüber Textbeschreibungen hat [16]. Allerdings können Maps mit hoher Dichte (d.h. einer hohen Anzahl von Verbindungen im Verhältnis zur Anzahl der Konzepte) aufgrund der Vielzahl von Verbindungen schwer zu beurteilen sein und daher eine höhere kognitive Belastung darstellen [17].

Obwohl die Studierenden in unserer Studie ausdrücklich angewiesen wurden, Verbindungen in ihren Maps zu ziehen, taten die meisten von ihnen (82%) dies nicht. Die Gründe dafür sind unklar, aber es ist möglich, dass die Anleitung im Videotutorial unzureichend war. Dies deckt sich mit den Ergebnissen früherer Untersuchungen, wonach Einführungsveranstaltungen mit Feedback ein wichtiger Schritt bei der Implementierung von Concept Maps in Curricula sind [3]. Frühere Forschungen haben auch gezeigt, dass das Feedback von Peers die Lernergebnisse verbessert, während die Verwendung von Concept Maps ohne Feedback ineffektiv ist [18]. Weitere Forschung ist jedoch erforderlich, um diese Fragen zu untersuchen.

Die Studie hat Limitationen. Erstens haben wir eine Gruppe von fortgeschrittenen Medizinstudierenden aus nur einer Universität einbezogen, was die Verallgemeinerbarkeit auf andere medizinische Fakultäten einschränken könnte. Zweitens sind wir uns der Fallbezogenheit des klinischen Entscheidungsprozesses bewusst, weshalb die Ergebnisse dieser Studie möglicherweise nicht auf andere Fälle, Inhalte oder Kontexte übertragbar sind [19], [20]. Wir haben jedoch häufige Leitsymptome aus verschiedenen Organsystemen in die Stichprobe aufgenommen. Drittens war unsere Stichprobengröße von Maps relativ klein, hatte aber dennoch genug Trennschärfe, um einen statistisch signifikanten Unterschied zu entdecken.

Diese Studie zeigt, dass die Qualität der Verbindungen in von Studierenden erstellten Concept Maps zum klinischen Entscheiden in einer VP-Umgebung mit der Diagnosegenauigkeit zusammenhängt. Für die Lehrenden bedeutet dies, dass sie die Qualität der Verbindungen bei der Bewertung und dem Feedback zu diesen Maps berücksichtigen sollten. Es bedarf weiterer Forschung, um Studierenden anzuleiten, wie sie die Verbindungen in diesen Maps nutzen können, und um Lehrenden dabei zu unterstützen ihren Studierenden Feedback zu fehlerhaften Verbindungen zu geben.

Wir möchten Herrn Andrzej Stanisz für die Unterstützung bei den statistischen Analysen danken. Die Studie wurde von der Ethikkommission der Jagiellonen-Universität genehmigt (Nr. 122.6120.116.2016) und durch interne Universitätsstipendien unterstützt: K/ZDS/006367 und N41/DBS/000720.

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.