gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Der Einfluss von Prompts auf den Lernprozess und Lernerfolg Medizinstudierender im Praktischen Jahr bei der EKG-Befundung

Artikel EKG-Befundung

  • corresponding author Markus Berndt - Klinikum der Universität München, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland; Walden University, Richard W. Riley College of Education and Leadership, Minneapolis (MN), USA
  • author Franziska Thomas - SLK-Kliniken Heilbronn GmbH, Zentrum für Anästhesie ZAINS, Heilbronn, Deutschland
  • author Daniel Bauer - Universität Bern, Medizinische Fakultät, Institut für Medizinische Ausbildung, Bern, Schweiz
  • author Anja Härtl - Klinikum der Universität München, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland; Universität Augsburg, Medizinische Fakultät, Augsburg, Deutschland
  • author Inga Hege - Klinikum der Universität München, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland; Universität Augsburg, Medizinische Fakultät, Augsburg, Deutschland
  • author Stefan Kääb - Klinikum der Universität München, LMU München, Medizinische Klinik und Poliklinik I, München, Deutschland
  • author Martin R. Fischer - Klinikum der Universität München, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland
  • author Nicole Heitzmann - Klinikum der Universität München, LMU München, Institut für Didaktik und Ausbildungsforschung in der Medizin, München, Deutschland; LMU München, Lehrstuhl für Empirische Pädagogik und Pädagogische Psychologie, München, Deutschland

GMS J Med Educ 2020;37(1):Doc11

doi: 10.3205/zma001304, urn:nbn:de:0183-zma0013047

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2020-37/zma001304.shtml

Eingereicht: 6. Mai 2019
Überarbeitet: 11. September 2019
Angenommen: 28. November 2019
Veröffentlicht: 17. Februar 2020

© 2020 Berndt et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Zielsetzung: Die EKG-Befundung ist anfällig für Fehler, welche zu relevanten Fehldiagnosen und falschen Therapien führen können. Eine Möglichkeit, das Lernen aus eigenen Fehlern und die Reduktion der Fehlerrate im Rahmen von Lehrveranstaltungen zu fördern, sind Prompts. Prompts sind Maßnahmen, wie Fragen, Hinweise und Anregungen inhaltlicher oder metakognitiver Natur, die zur Selbsterklärung beim Lernenden und damit zu tieferem Verständnis eines Sachverhaltes führen können. Das Ziel der Studie war es daher, zu untersuchen, ob der Einsatz von Prompts die Fehlerrate Studierender bei der EKG-Befundung reduzieren kann.

Methodik: In einem 2x2 experimentellen Versuchs-Kontrollgruppen Design bearbeiteten N=100 Medizinstudierende mit PJ-Reife Online-Fallvignetten in CASUS® mit EKG-Befundungsaufgaben. Dabei wurden Begründungsprompts (B) und Fehleranalyseprompts (F) in vier Gruppen systematisch variiert sowie der Lernerfolg in einem Wissenstest gemessen. Zusätzlich wurde das Vorwissen zur EKG- Befundung, Motivation, Interesse an der Thematik, subjektive Sicherheit bei der Befundung und Cognitive Load erhoben.

Ergebnisse: Weder Fehleranalyseprompts noch Begründungsprompts hatten einen signifikanten Effekt auf die korrekte EKG-Befundung Studierender, F(1,96)=1.03, p=.31. Begründungsprompts schienen sich positiv auf die Sicherheit bei der Beantwortung der Aufgaben auszuwirken, F(1,96)=10.15, p=.002, partielles η2=.10, und negativ auf die Motivation der Studierenden, F(1,96)=8.13, p=.005, partielles η2=.08, beides jedoch bei vergleichbarer Befundungsrichtigkeit.

Schlussfolgerung: Die vorliegende Studie konnte in der Literatur berichtete positive Effekte von Prompts auf die Fehlerrate bei der EKG-Befundung nicht bestätigen, zeigte jedoch signifikante Effekte auf die subjektive Sicherheit bei der Beantwortung und die Motivation, die es in weiterführenden Studien zu untersuchen gilt.

Schlüsselwörter: Prompts, Fehleranalyseprompts, Begründungsprompts, EKG, EKG-Befundung, computergestütztes Lernen


1. Einleitung

Diagnosefehler geschehen in einem von zehn Fällen und führen weltweit zu Millionen fehlerhafter Diagnosen, teils mit dramatischer Bedeutung für PatientInnen [1]. Hierbei ist die Diagnose von PatientInnenfällen, in denen ein Elektrokardiogramm (EKG) genutzt wird, besonders fehleranfällig und kann in der Folge eine falsche Behandlung nach sich ziehen [2]. Eine gezielte Unterstützung und das Training der Befundung und Diagnosestellung von EKGs in Lernsettings bereits im Studium ist darum notwendig [3], [4], [5].

In computergestützten Lernumgebungen hat sich gezeigt, dass digitale Prompts (deutsch Aufforderungen) den Lernprozess unterstützen und ebenso nützlich sein können wie Prompts durch menschliche TutorInnen [6]. Wie genau Prompts gestaltet sein müssen, ist Gegenstand aktueller Forschung. In der vorliegenden Arbeit wurde untersucht, wie sich speziell gestaltete Prompts beim Lernen in einer online Lernumgebung auf den Lernerfolg Medizinstudierender bei der EKG-Befundung auswirken.

1.1. Fehldiagnosen und Fehler

Fehldiagnosen, also die Abweichung des tatsächlichen vom diagnostizierten Krankheitsbild, stellen den häufigsten Fehlertyp in der Grundversorgung dar und sind ein viel diskutiertes Thema der Medizin [7]. Graber et al. schätzen die Rate an Fehldiagnosen als inakzeptabel hoch ein [8]. Um Fehler zu minimieren, bedarf es einer systematischen Fehleranalyse [9] und eines offeneren Umgangs mit Fehlern, etwa durch gegenseitige Hinweise innerhalb des therapeutischen Teams [10]. Fehler bergen jedoch auch Potential und können genutzt werden, um aus ihnen zu lernen.

Graber et al. [11], [12] kategorisieren Fehldiagnosen in drei Haupttypen. Zum einen die „Niemands Schuld“ Fehler (engl. no fault), welche etwa durch die untypische Ausprägung eines Krankheitsbildes entstehen. Eine weitere Kategorie sind Systemfehler technischer (Software- oder Hardwaremängel) oder organisatorischer Natur (z. B. unklare Abläufe oder Zuständigkeiten). Der dritte Fehlertyp umfasst schließlich kognitive Fehler. Die Fehlertypen schließen sich dabei nicht gegenseitig aus. Systemfehler sind laut Graber et al. [12] bei bis zu 65% der Fehldiagnosen beteiligt, kognitive Faktoren bei bis zu 74%. Weiterhin führen Braun et al. [13] fehlende diagnostische Fertigkeiten (24%) und inadäquates Fachwissen (16%) als Gründe für Fehldiagnosen auf.

Kognitive Fehler werden bei Graber et al. weiter unterschieden nach fehlerhaftem Wissen, fehlerhafter Datensammlung und fehlerhafter Datenverarbeitung [11], [12]. Fehlerhaftes Wissen führt etwa zu einer Verwechslung von Krankheitsbildern oder zur Fehlinterpretation von Untersuchungsergebnissen. Fehlerhaftes Wissen ist allgemein eine seltene Fehlerquelle. Fehlerhafte Datensammlung kommt häufiger vor und basiert zum einen auf mangelnden diagnostischen Fertigkeiten, aber auch auf unvollständiger Diagnostik. Fehlerhafte Dateninterpretation gilt als zentrales Problem und führt am häufigsten zu Fehldiagnosen. Das verfrühte Akzeptieren einer Arbeitsdiagnose und Verwerfen von Alternativen (engl. premature closure) ist hierbei die Hauptfehlerquelle. Zudem können Informationsverarbeitungsprobleme aus der Anwendung von Heuristiken resultieren. Heuristiken ermöglichen in kurzer Zeit und ohne viel Nachdenken die Lösung eines diagnostischen Problems [14]. Sie erlauben zwar rasches Handeln, bergen aber Fehlerpotential. Zusammengefasst werden kognitive Fehler als die zentrale Ursache für Fehldiagnosen diskutiert.

1.2. Reduktion von Fehldiagnosen und Fehlern durch Prompts

Allgemein existiert bei einigen AutorInnen die Meinung, dass durch Aufklärung über Heuristiken und Biases, kognitive Fehler vermieden werden können [15], [16]. Dennoch kommt Eva [17] in einem Review zur klinischen Diagnosefindung zu dem Ergebnis, dass das explizite Aufklären über Fehldiagnosen nicht ausreicht, um Diagnosefehler zu vermeiden.

Neben inhaltlicher Wissensvermittlung auch auf kognitive Fehler einzelner Lernenden einzugehen ist schwer. Eine Möglichkeit bietet computergestütztes Lernen, beispielsweise mit virtuellen PatientInnen und der Nutzung von Prompts [18].

Prompts sind Maßnahmen, die nach Chi [19] zur Selbsterklärung bei Lernenden und damit zu tieferem Verständnis eines Sachverhaltes führen können. Sie können als instruktionale Maßnahme in einer Vielzahl von Formen gegeben werden, zum Beispiel als offene Fragen, als Hinweise oder Anregungen inhaltlicher oder metakognitiver Natur. Dabei zeigen sich Prompts in einer online Lernumgebung als genauso effektiv, wie Prompts durch menschliche TutorInnen [6].

Chi beschreibt, dass bei der Selbsterklärung eines Inhaltes Prozesse beteiligt sind, die Wissenslücken schließen aber auch Missverständnisse revidieren können [20]. Diese Beschreibung spiegelt zwei Hauptklassen von Prompts wider. Prompts, die direkt auf die Aneignung von Wissen zielen, wurden etwa in der Mathematik erfolgreich eingesetzt, indem durch Prompts die einzelnen Rechenschritte bewusst gemacht wurden [21], [22]. Die andere Art von Prompts zielt mehr auf die Metakognition der Lernenden ab und versucht, Lernen durch Beeinflussung des Lernvorgangs zu verbessern. Dies kann z. B. geschehen, indem Lernende aufgefordert werden zu begründen, warum sie sich für oder gegen zusätzliches Material entscheiden oder zu begründen, wann im Lernprozess sie den Lösungsansatz zur Aufgabe erhalten wollen [23]. Für die Effektivität von Prompts finden sich jedoch sehr unterschiedliche Hinweise in der Literatur. Während sich Prompts in einigen Studien als lernförderlich zeigten, hatten sie in anderen Studien negative oder keine Effekte. Systematische Hinweise, wann welche Art von Prompts lernförderlich sind, finden sich bisher nicht.

Aleven und Koedinger zeigten, dass ProbandInnen, die ihre einzelnen Denkschritte bei der Lösung einer Aufgabe näher erklären mussten, später besser integriertes, deklaratives Wissen zeigten als ProbandInnen der Kontrollgruppe [24]. Berthold et al. [22] zeigten, dass bei Aufgaben mit mehreren Lösungswegen offene Frageprompts in Kombination mit spezifischeren Unterstützungsprompts (Prompts als Lückentexte, in die Teilschritte des Lösungswegs eingetragen werden müssen) eher prozedurales Wissen fördern. Die Aneignung reinen Faktenwissens wird hingegen mehr durch Unterstützungsprompts alleine gefördert [22], was zu den Erkenntnissen von Atkinson und Kollegen passt [21]. Spezifische Prompts [25], die den Lernenden helfen, einem Lerninhalt zugrundeliegende Prinzipien aufzuzeigen, sind also vielversprechend. Die aufgeführten Studien bezogen sich mit ihren Prompts allerdings auf die kognitive Ebene des Wissens an sich. Auf metakognitiver Ebene zeigte eine Studie von Bannert [26], dass die Aufforderung, aktiv metakognitive Lernstrategien beim Lernenden einzusetzen (z. B. Setzen von Lernzielen, Überwachen des eigenen Lernfortschritts), einen positiven Effekt auf das Anwendungswissen, nicht aber auf das Faktenwissen hatte. In einer Studie von Kennedy et al. führte der Einsatz von Prompts zur Selbstevaluation des Lernbedarfs zu einem Zuwachs an Wissen und Fertigkeiten von Medizinstudierenden im Rahmen eines vierwöchigen Moduls zu Alter und Gesundheit [27]. Spezifisch für die medizinische Ausbildung raten de Bruin et al. dazu, Prompts zur Regulation des Lernens beim Unterrichten von klinischer Diagnosefindung zu untersuchen [28]. Erste positive Ergebnisse berichten Chamberland et al., in deren Studie sich die klinische Diagnosefindung von Medizinstudierenden beim Lernen durch Videos mit Selbsterklärung, Beispielen und spezifischen Frageprompts verbesserte [29].

Kauffman et al. untersuchten die Wirksamkeit von Problemlöseprompts und Reflexionsprompts [30]. Erstere zeigten einen positiven Lerneffekt, da sie den Lernenden im Prozess des Wissenszuwachses unterstützten. Für Reflexionsprompts konnte ein Effekt nur in Kombination mit Problemlöseprompts gezeigt werden. Dies liegt den AutorInnen nach daran, dass ProbandInnen nur dann von Reflexionsprompts profitieren können, wenn genügend Vorwissen vorhanden sei, um ihre Leistungen im Wissenserwerb reflektieren zu können. Ein Problem bei Reflexionsprompts sei nach Nokes et al. allerdings, dass Studierende diese zum Teil von vornherein als unnütz empfänden, ignorierten oder nicht ernsthaft bearbeiteten [31]. Widersprüchliche Ergebnisse für den Nutzen von Prompts erhielten Papadopoulos et al. [32], die keinen signifikanten Unterschied im Wissenszuwachs mit und ohne inhaltliche Frageprompts zeigen konnten. Auch bei Heitzmann konnte kein Effekt von Selbsterklärungsprompts nachgewiesen werden [33]. Allgemein lässt sich zur Wirksamkeit von Prompts mit dem Zweck der Wissensaneignung sagen, dass diese nicht lernwirksam werden, wenn sie zu abstrakt formuliert sind und den Lernenden keine konkreten Hinweise zur Verbesserung ihres Vorgehens liefern [21], [22], [34]. Auf metakognitiver Ebene spielt das Vorwissen der Lernenden eine entscheidende Rolle, da diese sonst bereits mit der Wissensaneignung ausgelastet sind [23], [25].

1.3. Die vorliegende Studie

Gegenstand dieser Arbeit war die Frage, ob der Einsatz von Prompts positive Effekte auf die Fehlerrate bei der fallbasierten EKG-Befundung Studierender zeigt. Dazu wurden neben der Messung von Wissensunterschieden nach dem Lernen mit bzw. ohne Prompts in einer online Lernumgebung auch Motivation, Cognitive Load und subjektive Sicherheit bei der Beantwortung gemessen. Der Einfluss der eingesetzten Prompts (Begründungsprompts und Fehleranalyseprompts) wurde kombiniert und einzeln untersucht. Für die beschriebene Untersuchung wurden folgende Forschungsfragen und Hypothesen betrachtet:

  • Forschungsfrage 1: Welchen Einfluss haben Fehleranalyseprompts und Begründungsprompts in einer fallbasierten online Lernumgebung auf den Lernerfolg Medizinstudierender bei der EKG-Befundung?
  • Hypothese 1: Fehleranalyseprompts führen im Vergleich zu einer Kontrollgruppe ohne Prompts zu einem besseren Ergebnis in einem Wissenstest zur EKG Befundung.
  • Hypothese 2: Begründungsprompts führen im Vergleich zu einer Kontrollgruppe ohne Prompts zu einem besseren Ergebnis in einem Wissenstest zur EKG Befundung.
  • Hypothese 3: Die Kombination aus Fehleranalyseprompts und Begründungsprompts führt zum besten Ergebnis in einem Wissenstest zur EKG Befundung.
  • Forschungsfrage 2: Welchen Einfluss haben Fehleranalyseprompts und Begründungsprompts in einer fallbasierten online Lernumgebung zur EKG-Befundung auf Motivation, Cognitive Load und subjektive Sicherheit bei der Beantwortung des Wissenstests zum Thema EKG-Befundung?

2. Methodik

2.1. Design und Stichprobe

Die Studie wurde in einem experimentellen 2x2 between subject Design mit 100 Medizinstudierenden mit PJ-Reife (zweites Staatsexamen erfolgreich absolviert) an der Medizinischen Fakultät der LMU München durchgeführt. Die Datenerhebung erfolgte mit einer Unbedenklichkeitsbescheinigung der Ethikkommission der medizinischen Fakultät der LMU München. 73.3% der ProbandInnen waren Frauen und 26.7% Männer. Sie waren im Durchschnitt 26.6 Jahre alt (SD=3.7) und befanden sich durchschnittlich im 12. Fachsemester (SD=1.2). Die ProbandInnen wurden randomisiert drei Experimentalgruppen (EG 1-3) und einer Kontrollgruppe (KG) zugeteilt (siehe Tabelle 1 [Tab. 1]). Jede der Gruppen wies ein Geschlechterverhältnis von ca. 75% weiblichen zu 25% männlichen ProbandInnen auf.

2.2. Instrumente und Operationalisierungen

Im Folgenden werden der Ablauf sowie die eingesetzten Instrumente zur Messung der Variablen und deren Operationalisierungen eingehend erläutert.

2.2.1. Ablauf

Die ProbandInnen trafen im Studienzentrum ein, erhielten eine ProbandInnen ID und wurden einem PC Arbeitsplatzplatz zugewiesen. Vor Beginn der Intervention wurden persönliche Merkmale (Demografie, Interesse) und sowie das Vorwissen zur EKG-Befundung erhoben. Danach begann die erste Lernphase am PC (zwei Stunden zur Bearbeitung zweier Fälle). Nach einer Mittagspause folgte die zweite Lernphase (zwei Stunden zur Bearbeitung zweier weiterer Fälle). Zwischen den beiden Lernphasen wurden Cognitive Load und Motivation erhoben. Der Versuchsdurchlauf wurde mit der Beantwortung des Wissenstests zur EKG-Befundung abgeschlossen.

2.2.2. Interesse

Das Interesse an der EKG Befundung wurde aus dem Mittelwert einer sechs Items umfassenden Skala nach Stark et al. [35] berechnet (Beispielitem: „Ich bin am Thema EKG Interpretation interessiert“). Die Bewertung der Items erfolgte anhand einer 6-stufigen Likert Skala, welche von „stimmt überhaupt nicht“ bis „stimmt genau“ reichte (Cronbachs α=.78).

2.2.3. Vorwissenstest

Vor der Bearbeitung des ersten Lernfalles wurde ein 22-Item Vorwissenstest zur EKG-Befundung durchgeführt. Die Items wurden in Hinblick auf die in den Lernfällen vermittelten Inhalte entwickelt. Der Vorwissenstest bestand aus Multiple Choice Aufgaben mit Mehrfachauswahl im Kprim-Format. Pro Frage konnten 0-4 Punkte erzielt werden, maximal also 88 Punkte. Zu jeder Frage gab es vier Antwortmöglichkeiten, von denen null bis vier richtig sein konnten. Die Anzahl der richtigen Lösungen war den ProbandInnen nicht bekannt. Dadurch verringert sich die Ratewahrscheinlichkeit für Richtiglösungen im Vergleich zur Einfachauswahl von 25% auf ca. 6%. Nach jeder Aufgabe wurde als metakognitives Element zudem eine Frage zur subjektiven Sicherheit bezüglich einer richtigen Beantwortung gestellt („Wie sicher sind Sie, dass Sie diese Frage richtig beantwortet haben?“). Es gab hierbei eine vier Punkte umfassende Antwortskala von „sehr unsicher“ bis „sehr sicher“. Die Items wurden hinsichtlich ihrer Schwierigkeit, Varianz und Trennschärfe statistisch beurteilt und zu einfache (Itemschwierigkeit<0.2) bzw. zu schwierige (Itemschwierigkeit>0.8) Items sowie Items mit zu geringer Trennschärfe (Item-Total Korrelation<0.3) exkludiert (interne Konsistenz: Cronbachs α=.70, respektive α=.85 für die Sicherheitsfragen).

2.2.4. Intervention

Vier thematisch unterschiedliche Lernfälle mit virtuellen PatientInnen wurden in CASUS® [36] realisiert, mit dem Ziel, die Diagnosekompetenz der Studierenden zu verbessern. Die Plattform war den Studierenden durch die Verwendung im Studium bekannt. Die vier Fälle wurden anhand typischer und häufiger EKG-Befunde strukturiert und umfassten jeweils eine Fallvignette mit je einem EKG (siehe Abbildung 1 [Abb. 1]). Die Diagnoseschritte orientierten sich an einem den Studierenden bekannten sieben-Punkte-Schema zur EKG-Befundung (siehe Tabelle 2 [Tab. 2]).

Die zur Verfügung stehende Bearbeitungszeit je Lernfall war für die ProbandInnen frei einteilbar. Innerhalb jedes Lernfalls wurden Aufgaben zu allen Diagnoseschritten gestellt, basierend auf vier Kompetenzniveaus. Auf jedem Kompetenzniveau gab es verschiedene Antwortkategorien, welche jeweils mit ca. 30-40 möglichen anzukreuzenden Antwort-Optionen hinterlegt waren (siehe Tabelle 2 [Tab. 2]).

In den Experimentalgruppen (EG 1-3) wurden zusätzlich Prompts präsentiert. Hierbei wurden zwei Prompts systematisch variiert: Begründungsprompts und Fehleranalyseprompts. ProbandInnen der Versuchsgruppen mit Begründungsprompts (EG 2 und EG 3) wurden dazu aufgefordert, ihre Antworten zu begründen.

Die Fehleranalyseprompts (EG 1 und EG 3) sollten den ProbandInnen beim individuellen Verständnis der eigenen Fehler helfen. Die Prompts bestanden daher aus drei Teilen: Erkennen des gemachten Fehlers (Freitext), Zuordnung des Fehlers in eine Fehlerform (fehlendes Wissen, fehlerhafte Informationssammlung, fehlerhaftes Umgehen mit gesammelten Informationen, fehlerhaftes Verifizieren) und Nennung einer Strategie zur zukünftigen Fehlervermeidung (Freitext), siehe Abbildung 2 [Abb. 2] [12]. ProbandInnen der Kontrollgruppe (KG) bearbeiteten die Lernfälle ohne Prompts.

2.2.5. Motivation und Cognitive Load

Zwischen der Bearbeitung von Fall 2 und 3 wurden Prozessdaten zu Lernmotivation und Cognitive Load der ProbandInnen analog einer Promptstudie von Heitzmann erhoben [33]. Die Motivation wurde mit einem elf Items umfassenden Fragebogen nach Prenzel et al. [37] erfasst. Die ProbandInnen beantworteten hierfür Items anhand einer vier Punkte Skala, welche von „fast nie“ bis „sehr häufig“ reicht. Ein Beispielitem lautet „Während der bisherigen Lernsitzung macht mir das Arbeiten Spaß“. Aus diesen Daten wurde ein Mittelwert zur Lernmotivation berechnet (Cronbachs α=.78). Der Cognitive Load (deutsch kognitive Belastung) wurde mittels einer modifizierten sieben Punkte Skala nach Paas [38] gemessen, die von ‚sehr leicht‘ bis ‚sehr schwer‘ reichte und acht Items umfasste [39]. Ein Beispielitem ist „Wie leicht oder schwer finden Sie das Thema EKG Befundung?“ Der Gesamt-CL wurde als Mittelwert aller Items berechnet (Cronbachs α=.81).

2.2.6. Wissenstest

Das Messinstrument für die Feststellung von Wissensunterschieden war ein eigens für die Studie konzipierter Wissenstest, der im Vorfeld auf Grundlage eines Standardlehrbuchs der Inneren Medizin von Herold [40] und in Zusammenarbeit mit einem leitenden Oberarzt der Kardiologie erstellt, inhaltlich überprüft und in einer Pilotstudie getestet wurde. Dieser sollte genau wie der Vorwissenstest das Wissen zur EKG-Befundung der ProbandInnen messen. Der Test bestand aus 40 Multiple Choice Aufgaben (siehe Beispielitem in Abbildung 3 [Abb. 3]), welche auf neun EKG Fälle verteilt waren. Die Auswertung erfolgte kongruent zum Vorwissenstest: Zu jeder Frage gab es vier Antwortmöglichkeiten, von denen null bis vier richtig sein konnten (maximale Punktzahl 160). Nach jeder Aufgabe wurde zudem wieder die beschriebene Frage zur Sicherheit bei der Beantwortung gestellt (siehe Abbildung 3 [Abb. 3]). Alle Items des Wissenstest wurden hinsichtlich ihrer Schwierigkeit, Varianz und Trennschärfe statistisch beurteilt und zu einfache (Itemschwierigkeit<0.2) bzw. zu schwierige (Itemschwierigkeit>0.8) Items sowie Items mit zu geringer Trennschärfe (Item-Total Korrelation<0.3) exkludiert (interne Konsistenz: Cronbachs α=.78, respektive α=.91 für die Sicherheitsfragen).

2.2.7. Statistische Auswertung

Für die statistische Auswertung kamen varianzanalytische und korrelative Verfahren zum Einsatz. Vor der Datenanalyse wurde der Datensatz einer Ausreißeranalyse unterzogen: Alle Werte für standardisierte Schiefe und Kurtosis lagen innerhalb [-3; +3] [41]. Weiterhin wurde die Erfüllung der statistischen Annahmen der varianzanalytischen Verfahren (Normalverteilung und Varianzhomogenität) überprüft und bestätigt. Die Variable Interesse an der Thematik erwies sich als signifikanter Prädiktor für die erzielten Ergebnisse in Vorwissens- und Wissenstest. Aus diesem Grund wurde überprüft und festgestellt, dass sich die für die Analysen herangezogenen Gruppen bzgl. Interesse sowie Vorwissen nicht unterschieden.


3. Ergebnisse

3.1. Welchen Einfluss haben Begründungsprompts und Fehleranalyseprompts auf den Lernerfolg?

Eine ANOVA mit der Gruppenzugehörigkeit (EG 1-3, KG) als unabhängige Variable und dem Score im Wissenstest (post) als abhängige Variable, zeigte keinen statistisch signifikanten Effekt, F(1,96)=0.40, p=.75. Mittelwerte und Standardabweichung für die vier Gruppen sind in Tabelle 3 [Tab. 3] abgebildet.

3.2. Welchen Einfluss haben Begründungsprompts und Fehleranalyseprompts auf Motivation, Cognitive Load und subjektive Sicherheit bei der Beantwortung des Wissenstests?

Eine zweifaktorielle ANOVA mit Begründungsprompts (ja/nein) und Fehleranalyseprompts (ja/nein) als unabhängige Variable und Motivation als abhängige Variable zeigte einen statistisch signifikanten Interaktionseffekt, F(1,96)=4.12, p=.045, partielles η2=.04, sowie einen statistisch signifikanten Haupteffekt für Begründungsprompts F(1,96)=8.13, p=.005, η2=.08. Die Motivation beim Lernen mit beiden Prompts (M=2.84, SD=0.37) sowie nur mit Begründungsprompts (M=2.95, SD=0.39) war geringer als in den anderen Gruppen (M=3.00-3.21, SD=0.37-0.41).

Die Untersuchung der Unterschiede im Cognitive Load zeigte keine signifikanten Unterschiede zwischen den vier Gruppen. Cognitive Load korrelierte statistisch signifikant negativ mit der Motivation r(100)=-.56, p<.001.

Der Haupteffekt von Begründungsprompts auf die Sicherheit im Wissenstest war statistisch signifikant F(1,96)=10.15, p=.002, partielles η2=.10. Die ProbandenInnen, die mit Begründungsprompts lernten, fühlten sich sicherer in der Beantwortung des Wissenstests, als alle anderen Gruppen. Es wurde jedoch ein ähnlicher statistisch signifikanter Unterschied zwischen den Gruppen im Vorwissenstest festgestellt, F(1,96)=5.84, p=.018, partielles η2=.06. Das Ergebnis einer ANCOVA mit den unabhängigen Variablen Fehleranalyseprompts (EG 1), Begründungsprompts (EG 2), Interaktion dieser (EG 3) und der Kovariate Sicherheit im Vorwissenstest bestätigte den statistisch signifikanten Unterschied zwischen den Gruppen, zeigte jedoch keinen statistisch signifikanten Anstieg der Sicherheit der Beantwortung innerhalb der Gruppe mit Begründungsprompts. Ein Haupteffekt von Fehleranalyseprompts auf die Sicherheit im Wissenstest sowie ein Interaktionseffekt konnten nicht gezeigt werden. Die Korrelation zwischen der Sicherheit der Beantwortung im Vorwissens- und Wissenstest war statistisch signifikant positiv und stark ausgeprägt mit r(100)=.74, p<.001.


4. Diskussion

Ziel der vorliegenden Studie war, zu untersuchen, ob Fehleranalyseprompts und Begründungsprompts geeignete Mittel darstellen, um die Fehlerrate von Studierenden bei der EKG-Befundung zu reduzieren. Weder Fehleranalyseprompts noch Begründungsprompts hatten signifikante positive Effekte auf die korrekte EKG Befundung im Wissenstest. Die Hypothesen 1-3 konnten nicht bestätigt werden.

Auch Papadopoulos et al. [32] konnten keinen Effekt ihrer Frageanalyseprompts in ihrem webbasierten Software Projekt Management feststellen. In dieser Studie wurden die Frageanalyseprompts so gestellt, dass die ProbandInnen während der Bearbeitung von Lernfällen ihr Wissen beobachten, Vorwissen erinnern und nützliche Schlussfolgerungen ziehen sollten, vergleichbar mit den hier verwendeten Prompts. Trotz einiger methodischer Schwächen geben Papadopoulos et al. als Möglichkeit für den Misserfolg der Studie die geringe Lernzeit im Lernprogramm an oder den zu zeitnah durchgeführten Wissenstest [32]. Wie bei der hier beschriebenen Studie betrug die Versuchszeit nur einen Tag und der Lernerfolg wurde direkt nach der Lernphase gemessen, was eine mögliche methodische Einschränkung der vorliegenden Studie darstellen könnte. Auch in anderen Untersuchungen konnte kein Effekt von Analyseprompts gemessen werden, wenn sie etwa zu abstrakt und ohne konkrete Lernhinweise gestaltet waren [34]. Denkbar wäre, dass sich der in einigen Studien gezeigte Nutzen von Prompts bei vorwissensschwachen Studierenden bei höherem Vorwissen nicht mehr zeigt [26], [31]. Eine kontrastierende Studie mit sowohl vorwissensschwachen als auch vorwissensstarken Studierenden könnte weitere Einblicke ermöglichen.

Eine wichtige Erkenntnis für den Erfolg von Analyseprompts erläutern Nokes et al. durch die Instructional Fit Hypothesis [31]. Diese beschreibt, inwieweit die Art oder Ausgestaltung von Prompts zur einer gewünschten Wissensverbesserung bei Lernenden führt. Demzufolge seien Prompts zum Füllen von Wissenslücken für Vorwissensschwache und Prompts für die Revision eines Wissensmodells für Vorwissensstarke nützlich. In ihrer Studie bekräftigten sie dies, indem sie zeigten, dass nur die Wissenslückenprompts in einem Physiklernprogramm für Studierende nützlich waren, da die ProbandInnen wenig Wissen auf diesem Gebiet hatten. Gestützt wird dies durch O’Neil et al., in deren Studie die Art der Frageanalyseprompts entscheidend war und insbesondere Prompts hilfreich waren, die Wissenslücken schlossen [34].

Begründungsprompts scheinen sich auf die Sicherheit bei der Beantwortung der Aufgaben auszuwirken, jedoch bei gleichbleibender Performanz. Obwohl die höhere Einschätzung der Sicherheit bei der Beantwortung bereits zu Beginn innerhalb der Begründungspromptgruppe vorlag, zeigte sich, dass diese Sicherheit durch Begründungsprompts noch verstärkt wird. Gerade in der Medizin kann eine zu hohe Sicherheit in der Diagnose bei gleichbleibender Diagnosekompetenz negative Konsequenzen nach sich ziehen. Dies könnte beispielsweise dazu führen, dass AssistenzärztInnen am Anfang der Weiterbildung in der Notaufnahme ihre Diagnosen nicht fachärztlich validieren lassen, weil sie sich ihrer Sache zu sicher sind, und möglicherweise vorschnell handeln. Dieses Ergebnis erscheint daher besonders interessant.

Obwohl der Cognitive Load über alle Gruppen hinweg ähnlich ausgeprägt war, fällt auf, dass die Studierenden die Begründungsprompts allein und auch die Kombination beider Promptarten als demotivierend empfanden. Ein negativer Effekt von Begründungs- und Fehleranalyseprompts auf die Motivation lässt vermuten, dass die Studierenden diese als unnötige, zusätzliche Belastung ansehen, möglicherweise auch, da Prompts in der Regel nicht in die Standard-Lernstrategie vieler Studierender inkludiert sind. Diese Ergebnisse ähneln jenen von Nokes et al. [31], in deren Untersuchung ProbandInnen Reflexionsprompts als unnütz ansahen und diese möglicherweise bei fehlender Motivation nicht ernsthaft bearbeiteten. Betrachtet man die Aufgabenstellung als Ganzes, so ist durchaus vorstellbar, dass ein negativer Effekt auf die Motivation aus einer veränderte Selbstwahrnehmung aufgrund fortwährender Bewertung der eigenen Sicherheit, Begründung der eigenen Antworten, und Analyse der eigenen Fehler resultiert. Ein Motivationsverlust ließe sich anhand der Selbstbestimmungstheorie [42] erklären. Nach dieser Theorie sind Autonomie beim Lernen, Kompetenzerleben und soziale Eingebundenheit maßgeblich für die Motivation beim Lernen. So könnte die Steuerung durch Prompts von den ProbandInnen als Einschränkung der Autonomie wahrgenommen werden. Zusätzlich könnte das Kompetenzerleben reduziert werden durch eine gesteigerte Aufmerksamkeit auf die eigenen Fehler sowie auf die eigene Unsicherheit bei der Beantwortung. Durch die individuelle Bearbeitung der Lernfälle ist auch die soziale Eingebundenheit als niedrig anzusehen. Möglicherweise hat bereits die Veränderung eines dieser Faktoren eine positive Auswirkung auf die Lernmotivation. Es erscheint lohnenswert, dies in Folgestudien zu untersuchen.


5. Fazit

Im gewählten Setting hatte der Einsatz von Begründungs- und Fehleranalyseprompts keinen Einfluss auf die korrekte Befundung von EGKs, jedoch auf die Sicherheit bei der Beantwortung und die Motivation der Studierenden. Folgestudien mit mehr ProbandInnen und unter Einbezug des Vorwissens der ProbandInnen, beispielsweise im Sinne des Instructional Fit [31], könnten weitere Erkenntnisse über mögliche Effekte von Begründungs- und Fehleranalyseprompts auf die korrekte Befundung von EKGs liefern.


Anmerkung

Teile dieses Manuskripts wurden als Dissertation eingereicht.


Interessenkonflikt

Die AutorInnen erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
National Acadmies of Sciences, Engineering, and Medicine. Improving Diagnosis in Health Care. Washington, DC: The National Academies Press; 2015. DOI: 10.17226/21794 Externer Link
2.
Salerno S, Alguire P, Waxman H. Competency in interpretation of 12 lead electrocardiograms: A summary and appraisal of published evidence. Ann Intern Med. 2003;138(9):751-760. DOI: 10.7326/0003-4819-138-9-200305060-00013 Externer Link
3.
Akgun T, Karabay CY, Kocabay G, Kalayci A, Oduncu V, Guler A, Pala S, Kirma, C. Learning electrocardiogram on You Tube: How useful is it? J Electrocardiol. 2014;47(1):113-117. DOI: 10.1016/j.jelectrocard.2013.09.004 Externer Link
4.
Keller D, Zakowski L. An effective ECG curriculum for third year medical students in a community based clerkship. Med Teach. 2000;22(4):354-358. DOI: 10.1080/014215900409447 Externer Link
5.
Little B, Ho KJ, Scott L. Electrocardiogram and rhythm strip interpretation by final year medical students. Ulster Med J. 2001;70(2):108-110.
6.
Hausmann R, Chi M. Can a computer interface support self explaining? Cogn Technol. 2002;7(1):4-14.
7.
Thammasitboon S, Singhal G. Diagnosing diagnostic error. Curr Probl Pediatr Adolesc Health Care. 2013;43(9):227 231. DOI: 10.1016/j.cppeds.2013.07.002 Externer Link
8.
Graber M. The incidence of diagnostic error in medicine. BMJ Qual Safe. 2013;22 Suppl 2:ii21-ii27. doi: 10.1136/bmjqs 2012 001615 Externer Link
9.
Rall M, Manser T, Guggenberger H, Gaba DM, Unertl K. Patientensicherheit und Fehler in der Medizin. Anästhesiol Intensivmed Notfallmed Schmerzther. 2001;36(6):321-330. DOI: 10.1055/s-2001-14806 Externer Link
10.
Hofinger G, Walaczek H. Behandlungsfehler: Das Bewusstsein schärfen. Dtsch Aerztebl. 2003;100:A2848-2849.
11.
Graber M, Gordon R, Franklin N. Reducing diagnostic errors in medicine: what's the goal? Acad Med. 2002;77(10):981-992. DOI: 10.1097/00001888 200210000 00009 Externer Link
12.
Graber M, Franklin N, Gordon R. Diagnostic error in internal medicine. Arch Intern Med. 2005;165(13):1493-1499. DOI: 10.1001/archinte.165.13.1493 Externer Link
13.
Braun L, Zwaan L, Kiesewetter J, Fischer MR, Schmidtmaier R. Diagnostic errors by medical students: results of a prospective qualitative study. BMC Med Educ. 2017;17:191. DOI: 10.1186/s12909-017-1044-7 Externer Link
14.
Gigerenzer G, Todd P. Simple heuristics that make us smart. New York, NY, US: Oxford University Press; 1999.
15.
Croskerry P. The importance of cognitive errors in diagnosis and strategies to minimize them. Acad Med. 2003;78(8):775-780. DOI: 10.1097/00001888 200308000 00003 Externer Link
16.
Klein J. Five pitfalls in decisions about diagnosis and prescribing. BMJ. 2005;330(7494):781-783. DOI: 10.1136/bmj.330.7494.781 Externer Link
17.
Eva K. What every teacher needs to know about clinical reasoning. Med Educ. 2005;39(1):98-106. DOI: 10.1111/j.1365 2929.2004.01972.x Externer Link
18.
Berman NB, Durning SJ, Fischer MR, Huwendiek S, Triola MM. The Role for Virtual Patients in the Future of Medical Education. Acad Med. 2016;91(9):1217-1222. DOI: 10.1097/ACM.0000000000001146 Externer Link
19.
Chi MT. Constructing self explanations and scaffolded explanations in tutoring. Appl Cogn Psychol. 1996;10(Spec Issue):S33-S49. DOI: 10.1002/(sici)1099 0720(199611)10:7<33::aid acp436>3.0.co;2 e Externer Link
20.
Chi M. Self explaining: The dual processes of generating inference and repairing mental models. Educ Design Cogn Sci. 2000;5:161-238.
21.
Atkinson R, Renkl A, Merrill M. Transitioning From Studying Examples to Solving Problems: Effects of Self Explanation Prompts and Fading Worked Out Steps. J Educ Psychol. 2003;95(4):774-783. DOI: 10.1037/0022 0663.95.4.774 Externer Link
22.
Berthold K, Eysink T, Renkl A. Assisting self explanation prompts are more effective than open prompts when learning with multiple representations. Instruct Sci. 2009;37(4):345-363. DOI: 10.1007/s11251 008 9051 z Externer Link
23.
Stark R, Krause U. Effects of reflection prompts on learning outcomes and learning behaviour in statistics education. Learn Environ Res. 2009;12(3):209-223. DOI: 10.1007/s10984 009 9063 x Externer Link
24.
Aleven V, Koedinger K. An effective metacognitive strategy: Learning by doing and explaining with a computer based Cognitive Tutor. Cogn Sci. 2002;26(2):147-179. DOI: 10.1016/s0364 0213(02)00061 7 Externer Link
25.
Renner B, Prilla M, Cress U, Kimmerle J. Effects of prompting in reflective learning tools: Findings from experimental field, lab, and online studies. Front Psychol. 2016;7:820. DOI: 10.3389/fpsyg.2016.00820 Externer Link
26.
Bannert M. Effekete metakognitiver Lernhilfen auf den Wissenserwerb in vernetzten Lernumgebungen. = Effects of metacognitive help on knowledge acquisition in Web based learning environments. Z Päd Psychol. 2003;17(1):13-25. DOI: 10.1024//1010-0652.17.1.13 Externer Link
27.
Kennedy G, Rea J, Rea I. Prompting medical students to self-assess their learning needs during the ageing and health module: a mixed methods study. Med Educ Online. 2019;24(1):1-12. DOI: 10.1080/10872981.2019.1579558 Externer Link
28.
de Bruin A, Dunlosky J, Cavalcanti R. Monitoring and regulation of learning in medical education: the need for predictive cues. Med Educ. 2017;51(6):575-584. DOI: 10.1111/medu.13267 Externer Link
29.
Chamberland M, Mamede S, St-Onge C, Setrakian J, Bergeron L, Schmidt H. Self-explanation in learning clinical reasoning: the added value of examples and prompts. Med Educ. 2015;49(2):193-202. DOI: 10.1111/medu.12623 Externer Link
30.
Kauffman D, Ge X, Xie K, Chen CH. Prompting in web based environments: Supporting self monitoring and problem solving skills in college students. J Educ Comp Res. 2008;38(2):115-137. DOI: 10.2190/EC.38.2.a Externer Link
31.
Nokes T, Hausmann R, VanLehn K, Gershman S. Testing the instructional fit hypothesis: The case of self explanation prompts. Instruct Sci. 2001;39(5):645-666. DOI: 10.1007/s11251 010 9151 4 Externer Link
32.
Papadopoulos P, Demetriadis S, Stamelos I, Tsoukalas I. Prompting students' context generating cognitive activity in ill structured domains: Does the prompting mode affect learning? Educ Technol Res Develop. 2009;57(2):193-210. DOI: 10.1007/s11423 008 9105 6 Externer Link
33.
Heitzmann N. Fostering diagnostic competence in different domains (Dissertation). München: LMU; 2014. URN: urn:nbn:de:bvb:19-168621 Externer Link
34.
O'Neil H, Chung G, Kerr D, Vendlinski T, Buschang R, Mayer R. Adding self explanation prompts to an educational computer game. Comp Human Behav. 2014;30:23-28. DOI: 10.1016/j.chb.2013.07.025 Externer Link
35.
Stark R, Tyroller M, Krause U, Mandl H. Effekte einer metakognitiven Promptingmaßnahme beim situierten, beispielbasierten Lernen im Bereich Korrelationsrechnung. Z Päd Psychol. 2008;22(1):59-71. DOI: 10.1024/1010-0652.22.1.59 Externer Link
36.
Hege I, Adler M, Peter S. CASUS - ein fallbasiertes Lernsystem. In: Dittler U, editor. E-Learning Einsatzkonzepte und Erfolgsfaktoren des Lernens mit interaktiven Medien. Berlin: De Gruyter; 2011. p.101-107.
37.
Prenzel M, Eitel F, Holzbach R, Schoenheinz RJ. Lernmotivation im studentischen Unterricht in der Chirurgie. Z Päd Psychol. 1993;7(2 3):125-137.
38.
Paas F. Training strategies for attaining transfer of problem solving skill in statistics: A cognitive load approach. J Educ Psychol. 1992;84(4):429 434. DOI: 10.1037/0022 0663.84.4.429 Externer Link
39.
Paas F, Tuovinen J, Tabbers H, Van Gerven P. Cognitive load measurement as a means to advance cognitive load theory. Educ Psychol. 2003;38(1):63-71. DOI: 10.1207/S15326985EP3801_8 Externer Link
40.
Herold G. Innere Medizin unter Berücksichtigung des Gegenstandskataloges für die ärztliche Prüfung. Köln: G. Herold; 2010.
41.
Tabachnick BG, Fidell LS. Using multivariate statistics. 6th ed. Boston: Allyn & Bacon; 2013.
42.
Niemiec C, Ryan RM. Autonomy, competence, and relatedness in the classroom: Applying self-determination theory to educational practice. Theor Res Educ. 2009;7(2):133-144. DOI: 10.1177/1477878509104318 Externer Link