gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Quantifizierung der Lernkurve von Medizinstudierenden für die EKG-Rhythmusstreifeninterpretation im Rahmen einer bewussten Praxis (Deliberate Practice)

Artikel Deliberate practice

Suche in Medline nach

  • corresponding author Jason Waechter - University of Calgary, Depts. of Critical Care and Anesthesiology, Calgary (Alberta), Kanada
  • David Reading - University of British Columbia, Dept. of Internal Medicine, Vancouver (British Columbia), Kanada
  • Chel Hee Lee - University of Calgary, Dept. of Mathematics and Statistics and Dept. of Critical Care, Calgary (Alberta), Kanada
  • Mathieu Walker - University of McGill, Dept. of Medicine, Division of Cardiology, Montreal (Quebec), Kanada

GMS J Med Educ 2019;36(4):Doc40

doi: 10.3205/zma001248, urn:nbn:de:0183-zma0012482

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2019-36/zma001248.shtml

Eingereicht: 29. Oktober 2018
Überarbeitet: 7. April 2019
Angenommen: 28. Mai 2019
Veröffentlicht: 15. August 2019

© 2019 Waechter et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Ziele: Der Kompetenzerwerb von medizinischen Fähigkeiten wie der Interpretation von Elektrokardiogrammen (EKGs) erfordert wiederholtes Üben und Feedback. Strukturierte wiederholte Übungen und Feedback für die Durchführung von EKGs stehen den meisten Medizinstudierenden in der Regel nicht zur Verfügung, sodass der Kompetenzerwerb von einer opportunistischen Ausbildung im Rahmen klinischer Praktika abhängt. Unser Ziel war die Untersuchung folgender Aspekte:

1.
die Anzahl der bewussten Übungen zum Erlernen der EKG-Rhythmusstreifendiagnose bei Medizinstudierenden im ersten Jahr,
2.
die Lernkurve für eine Rhythmusstreifendiagnose und
3.
die Erfahrungen der Studierenden mit bewusstem Üben.

Methodik: Medizinstudierenden des ersten Jahrgangs zweier medizinischer Fakultäten wurden online Übungsfälle zum Thema Rhythmusstreifen bereitgestellt. Die diagnostische Genauigkeit wurde während der gesamten Übungen gemessen und die Studierenden erhielten für jeden abgeschlossenen Fall ein Feedback. Die Gesamtzahl der geübten Fälle und die Zeit, die mit dem Üben verbracht wurde, wurden mit ihrer Leistung während der Übungen und bei einer Prüfung korreliert.

Resultate: 314 von 384 (82%) Studierende willigten ein. Die durchschnittliche Anzahl der EKGs, mit denen jeder Studierende übte, betrug 59 (Gesamtanzahl 0-280), was einer Gesamtzahl von 18.466 Fällen bewusster Praxis entspricht. Wir generierten mathematische Modelle, die sowohl die Anzahl der geübten Fälle als auch die Zeit, die mit der Übung verbracht wurde, genau mit der diagnostischen Korrektheit bei einer Prüfung korrelierten (p<0.001). Beispielsweise mussten die Studierenden durchschnittlich 112 Minuten und 34 Übungsfälle absolvieren, um 75% für eine EKG-Rhythmusstreifenprüfung zu erhalten. Die Zufriedenheit der Studierenden war bei den Online-Fällen hoch.

Schlussfolgerungen: Es ist uns gelungen, einer großen Gruppe von Studierenden an zwei medizinischen Fakultäten eine gezielte Übung zur Interpretation von EKG-Rhythmusstreifen bereitzustellen. Wir quantifizierten eine Lernkurve, welche eine Schätzung der Anzahl der Fälle und die Übungszeit darstellt, die benötigt werden, um ein vorgegebenes, diagnostisches Genauigkeitsniveau zu erreichen. Diese Daten können zur Entwicklung eines kompetenzbasierten Curriculum-Ansatzes beitragen.

Schlüsselwörter: Lernkurve, Elektrokardiographie, Kompetenzbasierte Ausbildung, bewusste Praxis, Deliberate Practice


Einleitung

Obgleich die Interpretation des Elektrokardiogramms (EKG) eine Kernkompetenz für sämtliche graduierten Medizinstudenten darstellt [1], zeigen Studien der letzten 3 Jahrzehnte immer wieder, dass die Fähigkeit der zur EKG-Interpretation stets unterhalb den Erwartungen für Medizinabsolventen [2], [3], in der Schulung befindliche Ärzte (Vorklinik) sowie [4], [5], [6], [7], [8], [9] für Ärzte innerhalb der Klinik liegt [10], [11], [12]. EKG-Interpretationsfehler können Patienten durch verspätete Diagnosen, unangemessene Untersuchungen und Behandlungen sowie Verzögerungen bei der angemessenen Behandlung schädigen [13], [14]. Es besteht ein Verbesserungsbedarf hinsichtlich der EKG-Lernerfahrung in den Ausbildungsprogrammen für Studierenden als auch in der Vorklinik [15].

Leider ist die Variabilität und geringe medizinische Leistungsfähigkeit Fähigkeiten nicht nur auf die EKG-Interpretation beschränkt. Es wurde eine hohe Variabilität der Verfahrenskompetenz zwischen Vorklinik-Ärzten, Klinik- und Fachärzten für die Bereiche Lumbalpunktion, [16] Adipositas-Chirurgie, bariatrische Chirurgie [17] und das Einführen von intravaskulären Kathetern beschrieben [18]. Solche Ergebnisse haben zu Forderungen nach einer raschen Änderung der medizinischen Ausbildung geführt [19].

Eine bewusste Praxis (Deliberate Practice) wird weithin als Schlüsselkomponente für den Erwerb von Kompetenz und Meisterschaft erwähnt [20], [21]. Bewusste Praxis, ein Prozess, bei dem mehrere Iterationen strukturierter Praxis und Feedback bereitgestellt werden, bis der Trainee die erforderliche Kompetenz nachweist [19], [22], [23], [24] wird, im Vergleich zum passiven Lernen, für den Erwerb von Fähigkeiten als überlegene Strategie beschrieben [25], [26], [27]. Bewusste Praxis zur Erlangung der Meisterschaft ist in mehreren Bereichen demonstriert worden, darunter Sport, Gaming, der Geschäftswelt und bei musikalischen Leistungen [28], [29]. Medizinische Studienergebnisse haben verbesserte Ergebnisse in Fällen gezeigt, in denen die Leistung spezifischer Fähigkeiten durch Meister-Lernansätze, einschließlich Parazentese, Zentrallinienplatzierung und fortgeschrittene Fähigkeiten zur Unterstützung des kardialen Lebens, verbessert werden konnte [18], [30], [31].

Die Ergebnisse einer Umfrage der Clerkship Directors of Internal Medicine (CDIM) im Jahr 2005 deuten darauf hin, dass sich der Großteil der Zeit, der auf den EKG-Unterricht aufgewendet wurde, auf den Bereich didaktische Theorie konzentrierte, mit einem geringen Anteil an formalisierter strukturierter EKG-Praxis [32]. Tatsächlich wurden begrenzte Möglichkeiten für Praxis und Feedback als Beitrag zu schlechten EKG-Interpretationsfähigkeiten identifiziert [1].

Die Prämisse eines kompetenzbasierten Lernansatzes basiert auf einem leistungsorientierten Ansatz, der etablierten Standards entspricht. Eine Gruppe von Schülern zeigt unterschiedliche Lernraten für eine bestimmte Fähigkeit und benötigt unterschiedliche Mengen an Übung und Feedback, um Kompetenz zu erlangen [32], [33]. Daher sollte eine flexible Bereitstellung von Praxis und Feedback dazu beitragen, die Schulung eines jeden individuellen Studierenden an seine Bedürfnisse auszurichten. Darüber hinaus wäre die Kenntnis der optimalen Anzahl von EKG-Fällen, die zum Kompetenzgewinn geübt werden müssen, sowie die Zeit, die benötigt wird, um diese Praxis und das Feedback zu vervollständigen, hilfreich bei der Planung von Ressourcen für Lern-EKGs; diese Zahl ist derzeit nicht bekannt [34].

Das erste Ziel dieses Aufsatzes bestand darin, die Menge der bewussten Praxis zu beschreiben, die eine Gruppe von Medizinstudenten im ersten Jahr ausgesetzt ist, welche die EKG-Rhythmusstreifendiagnose erlernen. Zweitens wollten wir mathematisch die Lernkurve für die Rhythmusstreifendiagnose in Bezug auf Zeit und Anzahl der geübten Fälle quantifizieren. Das dritte Ziel bestand darin, die Meinungen der Studierenden zu ihren Erfahrungen mit der bewussten Praxis (Deliberate Practice) zu beschreiben.


Methoden

Dies stellte eine beobachtende assoziative Kohortenstudie dar, die eine neuartige Online-Plattform zur Messung und Beschreibung des Praxisverhaltens und der Leistung von Medizinstudenten, die lernen, eine EKG-Rhythmusstreifendiagnose durchzuführen, nutzte. Es wurde ein Beobachtungsansatz gewählt, da ein Ansatz auf Basis von Experimenten aus Gründen der Ungleichbehandlung von Interventions- und Kontrollgruppen nicht möglich wäre, da es keine geeignete vorherige Intervention zum Vergleich gibt [35].

Studie und Teilnehmer

Eine Stichprobe unter Medizinstudenten des ersten Jahres, die 2016 und 2017 an zwei medizinischen Fakultäten in Kanada (McGill University und University of Calgary) eingeschrieben waren, wurde dazu eingeladen, an der Studie teilzunehmen, während diese ihre kardiovaskulären Kurse belegten. McGill bietet 7 Stunden Vorlesung und 2 Stunden Seminar zum Thema EKG-Lernen innerhalb eines 6-wöchigen Kurses an; Calgary bietet 7 Stunden Vorlesung und 0 Stunden Seminar innerhalb eines 12-wöchigen Kurses, der mit Curriculum, das die Atemwege betrifft, kombiniert wird. Beide Curricula beinhalten fallbezogenes Lernen und einige dieser Fälle beinhalten EKGs. Die Studierenden wurden zur Teilnahme per E-Mail eingeladen, die vom Studiensekretariat verschickt wurde, sowie durch Ankündigungen im Unterricht. Das University of Calgary Conjoint Health Research Ethics Board genehmigte die Studie. Für diese Studie wurden keine Mittel eingeworben.

Während des Selbststudiums übten die Studierenden Rhythmusstreifen-Fälle über die frei zugänglichen Online-Module auf teachingmedicine.com. Die 14 verschiedenen EKG-Diagnosen, die für das Lernen ausgewählt wurden, basierten auf den Advanced Cardiac Life Support (ACLS) Rhythmen, die für die Behandlung eines Herzstillstands beherrscht werden müssen (siehe Tabelle 1 [Tab. 1]). Die EKGs wurden als Rhythmusstreifen dargestellt (im Gegensatz zu 12-Kanal-EKGs). Es gab 3 diskrete Übungsmodule, von denen jedes ein anderes Beispiel der 14 Diagnosen (einschließlich Normalrhythmus) enthielt. Dieser Ansatz garantierte, dass in diesem Modul jede der 14 Diagnosen zum Tragen kam. Die Studierenden waren verpflichtet, im Rahmen ihrer Studienarbeit mindestens ein Praxismodul zu absolvieren. Die Studierenden konnten jedes Modul so oft üben, wie sie wollten. Die Leistung während der Schulung wurde als Prozentsatz der Rhythmusstreifen quantifiziert, die von jedem Studierenden richtig diagnostiziert wurden, verglichen mit der richtigen Antwort, die von 3 Experten einstimmig angenommen wurde. Die Zeit für den Abschluss der Übungsmodule wurde von der Online-Plattform erfasst. Der Timer startete beim Eintritt in das Modul und stoppte beim Verlassen des Moduls. Kam es für einen Zeitraum länger als 5 Minuten zu keiner Benutzeraktivität, wurden 4 Minuten abgezogen und der Timer gestoppt.

Jeder Rhythmusstreifen-Fall erforderte, dass der Studierende 8 Fragen zur Charakterisierung des EKG beantwortete, gefolgt von 2 Fragen zur Diagnose (siehe Tabelle 2 [Tab. 2]). Bis auf die Frage nach der ventrikulären Rate waren alle Fragen Multiple-Choice-Fragen, wobei die Diagnosefrage 14 Optionen bot. Motivationstechniken, wie z. B. die Offenlegung der sich entwickelnden Leistung der Schüler, Popup-Meldungen, die exzellente Leistung belohnten und förderten, und das Bereitstellen von Vergleichsstatistiken zwischen dem Benutzer und den Durchschnittswerten ihrer Kollegen wurden in die Übungsmodule integriert, um das Engagement der Studierende zu erhöhen [36].

Mehrere Überlegungen beeinflussten die Gestaltung des bereitgestellten Feedbacks [37]. Vier Arten von direktem Feedback standen jedem Studierenden zur Verfügung. Zunächst wurden die Antworten als korrekt oder falsch identifiziert. In einem zweiten Schritt wurden bei falsch eingereichten Diagnosen eine Tabelle mit der richtigen Diagnose, der falschen Diagnose des Studierenden sowie die diagnostischen Kriterien beider Diagnosen mit hervorgehobenen Unterschieden zwischen den beiden Kriteriensätzen angezeigt. Drittens wurde eine erklärende Diskussion zum Fall geführt. Die vierte Form des Feedbacks stellte die Möglichkeit dar, Fragen an den Kursleiter per E-Mail zu stellen, wobei die Antwort per E-Mail innerhalb von 24 Stunden erfolgte.

Alle Antworten der Studierenden wurden dokumentiert und zur Analyse zur Verfügung gestellt. Am Ende ihres kardiovaskulären Kurses absolvierten die Studierenden eine obligatorische Rhythmusstreifen-Prüfung, die bis zu 5% zu ihrer Abschluss-Kursnote beitrug. Prüfungsergebnisse von McGill wurden von der Analyse ausgeschlossen, da die Prüfungsfragen aus den Praxismodulen entnommen wurden und somit keine valide Prüfung von bisher unsichtbaren Fällen darstellten. Die University of Calgary führt eine klassische Papierprüfung durch, welche keine Rhythmusstreifen aus den Übungsmodulen enthielt. Jeder Rhythmusstreifenuntersuchungsfall bestand aus einer einzigen Diagnose, die von 2 Experten als ähnlich schwierig eingestuft worden war wie die Praxisfälle und die gleichen Diagnosen wie die Rhythmusstreifen in den Übungsmodulen enthielt. Die Leistung bei der Untersuchung wurde definiert als der Prozentsatz der Rhythmusstreifen, die zu einer korrekten Diagnose führte. Das Nichtbestehen des obligatorischen Übungsmoduls oder der Prüfung führte zum Kursstatus „unvollständig“.

Datenanalyse

Die Daten wurden de-identifiziert und auf einen lokalen Computer exportiert. Die Daten wurden mit R-3.5.1 [38], nlme-3.1-137 [39], Stata 10.0 (Statacorp LLP) und Excel (Microsoft Excel für Mac, Version 15.28) analysiert. Zur Zusammenfassung der Umfragedaten wurden deskriptive Statistiken einschließlich Mittelberechnungen (mit Standardabweichungen [SD]) und Größen verwendet.

Praxisdaten

Diese Daten bestehen aus zwei unabhängigen Populationen, sind nichtlinear und vergleichen mehrere gepaarte Stichproben pro Person; die Individuen verfügen alle nicht über die gleiche Anzahl gepaarter Stichproben. Zwei Streudiagramme wurden erstellt, um die Zusammenhänge zwischen diagnostischer Genauigkeit und Zeit pro Modul beim Üben im Vergleich zur Anzahl der abgeschlossenen Module zu beobachten. Die Gompertz-Funktion wurde verwendet, um die Mittel dieser Daten grafisch darzustellen [40]. Die Unterschiede zwischen den beiden Schulen wurden mit ANCOVA bewertet. Unterschiede zwischen gepaarten aufeinanderfolgenden Modulen wurden mit gepaarten t-Tests mit Bonferoni-Korrektur auf ihre Bedeutung getestet.

Untersuchungsdaten

Diese Daten bestehen aus einer Population, sind nichtlinear, ungepaart; sie stehen unter der Annahme, dass sämtliche Beobachtungen unabhängig voneinander gemessen werden. Ein Streudiagramm wurde erstellt, um den Zusammenhang zwischen diagnostischer Genauigkeit und der Gesamtzeit beim Üben im Vergleich zur Anzahl der abgeschlossenen Module zu beobachten. Basierend auf der visuellen Betrachtung des Streudiagramms ergaben sich drei mathematische Funktionen: Gompertz-Funktion, Michaelis-Menten (MM)-Funktion und quadratische Funktion wurden als mögliche Kandidaten ausgewählt, um diese 2 Beziehungen darzustellen [40]. Die mit den Modellen verbundenen Koeffizienten wurden auf ihre statistische Signifikanz für die Anpassung an die Daten untersucht. Alpha wurde a priori auf 0,05 gesetzt. Akaike Informationskriterien (AIC) und die Korrelation zwischen beobachteten und vorhergesagten Messungen werden zur Messung der Güteanpassung der mathematischen Modelle verwendet.


Ergebnisse

Übungsumfang

Insgesamt wurden 384 Schüler zur Teilnahme eingeladen und 314 (82%) willigten ein. Unter den 298 (95%) zugelassenen Teilnehmern, welche die Vorbefragung abgeschlossen haben, lag das Durchschnittsalter bei 24,9 (SD=4,2) Jahren und 54 % der Teilnehmer waren weiblich. 14 (4%) Schüler gaben an, dass sie zuvor Online-Übungsmodule verwendet hatten, um Rhythmusstreifen interpretieren zu können. Die durchschnittliche Häufigkeit, mit der jede der 14 Diagnosen pro Schüler geübt wurde, betrug 4,1 (SD=2,7), was 59 Rhythmusstreifen pro Studierenden entspricht (siehe Abbildung 1 [Abb. 1]). Insgesamt 24 (8%) Studierenden übten nur das obligatorische Einzelmodul vor der Prüfung. Neun Studierenden haben das Pflichtmodul nicht vor der Prüfung und nach der Prüfung abgeschlossen. Achtundvierzig Schüler absolvierten 10 oder mehr Module; das entspricht ≥140 Rhythmusstreifen für jedes Modul. Die maximale Anzahl der von einem Studierenden absolvierten Module betrug 20, was 280 Rhythmusstreifen entspricht. Die Gesamtzahl der von allen 314 Schülern geübten Rhythmusstreifen betrug 18.466. Damit konnte auf 18.466 Feedbackfälle zurückgegriffen werden.

Übungsleistung

Abbildung 2 [Abb. 2] (links und rechts) zeigt die Streudiagramme, die sich auf die Anzahl der abgeschlossenen Übungsmodule mit diagnostischer Genauigkeit und die pro Modul Übungszeit in zwei verschiedenen Einrichtungen während der Absolvierung der Übung beziehen. Es gab keine statistischen Unterschiede hinsichtlich der diagnostischen Genauigkeit zwischen beiden Einrichtungen während der Absolvierung der Übung. Es gab keine statistischen Unterschiede in der Übungszeit pro Modul zwischen den beiden Einrichtungen, außer für einen Zeitpunkt (bei Modul 3). Unterschiede in der diagnostischen Genauigkeit zwischen aufeinanderfolgenden Modulen zeigten statistisch signifikante Steigerungen zwischen den Modulen: 1 und 2; 2 und 3; nicht 3 und 4, sondern erneut 4 und 5, was darauf hindeutet, dass die Diagnosegenauigkeit durch die Module 1-3 und möglicherweise auch bis zum Modul 5 (vollständige statistische Werte gemäß Anhang 1 [Anh. 1]) weiter gestiegen ist. Die Unterschiede in der Praxiszeit pro Modul haben sich zwischen aufeinanderfolgenden Modulen deutlich verringert: 1 und 2; bis hin zu den Modulen 7 und 8 einschließlich, was darauf hindeutet, dass die Geschwindigkeit in allen diesen Modulen weiter zugenommen haben.

Prüfungsleistung

Die mathematische Funktion, welche die Lernkurve der diagnostischen Genauigkeit am besten approximierte, entspricht der Gompertz-Gleichung mit den folgenden Koeffizienten: Y~88*exp(0,51*exp(0,47*M)). Die Funktion, welche die gesamte Trainingszeitkurve am besten beschreibt, entspricht der Michaelis-Menten-Funktion mit den Koeffizienten: Y~671*M/(12,1+M). M stellt die Anzahl der abgeschlossenen Module dar. Die AIC Goodness of Fit Bewertung für diese beiden mathematischen Funktionen ergab p-Werte<0.001 für alle Koeffizienten in den Modulen. Diese Kurven werden verwendet, um den Arbeitsaufwand der Studierenden zu schätzen, der erforderlich ist, um ein vordefiniertes Leistungsniveau für die Prüfung zu erreichen. Ein zweistufiges Modell zum Auffinden der Übungszeit aus der erwarteten Genauigkeit ist in Abbildung 3 [Abb. 3] dargestellt. Die Schätzung des Gompertz-Modells wird verwendet, um die entsprechende Anzahl von Modulen zu finden, die dann als Input für die Schätzung der Michaelis-Menten-Funktion verwendet wird, um die für die Praxis benötigte Zeit vorherzusagen. Tabelle 3 [Tab. 3] zeigt die gesamte Übungszeit und die erforderliche Anzahl der Module, die geübt wurden, um in der Prüfung eine Punktzahl von 70 bis 85% zu erreichen.

In der Vorbefragung berichteten die Studierenden darüber, wie viel Zeit sie vor der Forschungsstudie damit verbracht hatten, die Interpretation von Rhythmusstreifen zu üben; werden die Studierenden nach ihrer Vorstudienpraxis sortiert, ließen sich keine statistischen Unterschiede in der Prüfungsleistung feststellen.

Zufriedenheit der Studierenden

Basierend auf der am Ende der kardiovaskulären Kurse durchgeführten Umfrage gaben 174 (von 314 Zustimmenden) Studierende an, dass die Lernmodule effektiv (97%), effizient (97%) und angenehm (92%) sind (siehe Anhang 2 [Anh. 2]). Die meisten Studierenden waren der Auffassung, dass ein Praxisbezug erforderlich ist, um das Interpretieren von EKGs zu erlernen (99%), dass sofortiges Feedback hilfreich war (95%) und dass sie daran interessiert waren, die gleiche Methode zum Erlernen anderer diagnostischer Fähigkeiten, wie Röntgen- und Ultraschallinterpretation, zu verwenden (99%).

Arbeitsbelastung der Dozenten

In Bezug auf den Arbeitsaufwand des Dozenten für die Beantwortung von Feedback-E-Mails der Schüler wurden insgesamt 14 E-Mail-Fragen von Studierenden von McGill und 37 von Calgary eingereicht. Vergleicht man E-Mails mit den insgesamt geübten Fällen, so wurden 51 Feedback-E-Mails für 18.466 Praxisfälle eingereicht, was etwa einer E-Mail pro 360 geübten Fällen entspricht.


Diskussion

Unsere Daten zeigen, dass Medizinstudenten im ersten Jahr vor einer Rhythmusstreifenuntersuchung einen Mittelwert von 59 Rhythmusstreifen interpretiert haben. Insgesamt wurden 314 Studierenden an zwei verschiedenen medizinischen Fakultäten über 18.000 Feedback-Fälle zur Verfügung gestellt. Dies ist aus mehreren Gründen wichtig. Erstens wurden von Herausforderungen bei der Bereitstellung von Feedback für die bewusste Praxis (Deliberate Practice) berichtet [37]. Wir haben detailliert beschrieben, wie man zwei großen Kohorten von Medizinstudenten erfolgreich Feedback im Rahmen der bewussten Praxis geben könnte, um auf diese Weise einem in der medizinischen Lehrliteratur identifizierten Bedarf gerecht zu werden.

Zweitens zeigten unsere bisher unveröffentlichten lokalen Daten, dass, wenn das Üben nicht vorgeschrieben war und es keine Rhythmusstreifen-Prüfung gab, die Studierenden trotz starker Förderung und Ermutigung durch die Dozenten lediglich einen Mittelwert von nur 6 Übungsrhythmusstreifen erreichten [41]. Der Vergleich dieser Ergebnisse mit den Ergebnissen unserer aktuellen Studie, die Einführung eines obligatorischen Übungsmoduls und einer speziellen Rhythmusstreifen-Summenprüfung führte zu einer 9-fachen Steigerung des Praxisverhaltens der Studierenden. Die Studierenden waren bereit, fähig und motiviert, weit über das von den Kursleitern vorgeschriebene Arbeitspensum hinaus zu üben und absolvierten durchschnittlich 59 Übungsrhythmusstreifen, auch, wenn nur 14 benötigt wurden.

Die spezielle Rhythmusstreifen-Summenprüfung war wahrscheinlich ein starker Motivator für das Verhalten der Studierenden in der Praxis. Andere Studien haben die positiven Auswirkungen von summativen Bewertungen speziell auf die Leistung der Studierenden auf die EKG-Interpretation beschrieben [42], [43]. Bei Vorklinik-Schulungsprogrammen wurden regelmäßige objektive Beurteilungen der EKG-Interpretationsfähigkeiten empfohlen [34]. Zusätzlich zu den prägenden Rückmeldungen haben Raupach et al. festgestellt, dass summatives Feedback die mittelfristige Aufrechterhaltung der EKG-Interpretationsfähigkeiten, unabhängig von der Unterrichtstechnik, erhöht; es sollte daher als wichtige Komponente für die Aufrechterhaltung solcher Fähigkeiten angesehen werden [44].

Die Lernkurve für die Interpretation von EKG-Rhythmusstreifen bei Medizinstudenten wurde bisher nicht quantifiziert. Eine Lernkurve ist eine grafische Darstellung, die eine Metrik von Zeit oder Aufwand mit der Leistung einer Fertigkeit verbindet [22]. Wir konnten zeigen, dass die diagnostische Genauigkeit und die Zeit, die mit dem Üben verbracht wurde, zwischen den Studierenden an zwei verschiedenen medizinischen Fakultäten sich sehr ähneln. Die Studierenden zeigten weiterhin eine Verbesserung sowohl der diagnostischen Genauigkeit als auch der Geschwindigkeit der Diagnose und übten bis zu 4 Module (56 Fälle). Der Wert von 56 Fällen unterstreicht die große Zahl von Praxisfällen, die den Studierenden zur Verfügung gestellt werden sollten, damit diese weiterhin die Möglichkeit haben zu üben, während sie sich gleichzeitig verbessern. Es ist wichtig zu erkennen, wann die Lernkurve ihre Asymptote erreicht hat, um anzuzeigen, wann der Lernprozess höchstwahrscheinlich aufgehört hat.

Anhand der Kurven in Abbildung 3 [Abb. 3] kann die Anzahl der EKG-Fälle und die Zeit, die benötigt wird, um bei Medizinstudenten im ersten Jahr ein vorgegebenes Kompetenzniveau zu erreichen, bestimmt werden (siehe Tabelle 3 [Tab. 3]). Diese Informationen sind für die Studierenden wertvoll, um ihnen dabei behilflich zu sein, ihre Studienzeit zu planen und realistische Leistungsziele zu setzen. Die Ergebnisse der Lernkurvenanalyse können auch als Orientierungshilfe für die Curriculumsentwicklung dienen; zunächst kann ein Kompetenzstandard für die diagnostische Genauigkeit gewählt werden; mithilfe der Lernkurve kann geschätzt werden, wie viel bewusste Praxis für die Studierenden erforderlich ist. Wenn beispielsweise der Kompetenzstandard auf eine diagnostische Genauigkeit von 75% festgelegt wird, werden 34 Praxisfälle und 111 Minuten benötigt, damit der durchschnittliche Medizinstudent dieses Leistungsniveau erreicht. Wir sind der festen Überzeugung, dass die Verantwortung für die Bereitstellung der erforderlichen Praxis und des Feedbacks zur Erlangung medizinischer Fähigkeiten bei der Medizinischen Fakultät und ihren Lehrpersonen liegt, anstatt dies den Studierenden aufrechtzuerlegen.

Frühere Forderungen nach einer Änderung der Art und Weise, wie das Fach EKG-Interpretation gelehrt werden sollte, legen nahe, dass mehr Übungsmöglichkeiten erforderlich sind [2]. Die CDIM-Umfrage 2013 der internen Medizinischen Lehrprogramme berichtete über die Anzahl von 12 Kanal-EKGs, die Studierenden in den Praktika im dritten Jahr unter Aufsicht formal interpretiert hatten [1]. Nur 37% der Studierenden an medizinischen Fakultäten interpretierten formal mehr als zehn 12-Kanal-EKGs während ihrer Praktika in der Inneren Medizin [1]. Alle anderen Befragten gaben an, dass ihre Studierenden weniger EKGs interpretiert hatten, oder dass diese Frage nicht beantwortet wurde. Die Daten für die EKG-Schulung vor Aufnahme der Ausbildungsphase, d.h. die von uns untersuchte Population, liegen nur spärlich vor.

Unsere Studie untersuchte die Interpretation von Rhythmusstreifen und keine 12 Kanal-EKGs. Die Interpretation von 12-Kanal-EKGs ist jedoch komplexer als die von Rhythmusstreifen und erfordert daher voraussichtlich noch mehr Übezeit als die von Rhythmusstreifen, um wirkliche Kompetenz zu erlangen. Unsere Ergebnisse, kombiniert mit den Ergebnissen der CDIM-Umfrage, deuten möglicherweise darauf hin, dass die Bedürfnisse der Studierenden nach EKG-Praxis an vielen medizinischen Fakultäten nicht erfüllt werden. Um die Kluft zwischen dem, was den Studierenden zur Verfügung gestellt wird, und dem, was von den Studierenden benötigt wird, weiter zu verdeutlichen, empfehlen die ACC/AHA-Leitlinien für das Erlernen von 12 Kanal-EKGs, dass die Lernphase mindestens 500 überwachte Interpretationen umfassen sollte [45], obgleich die Beweise, auf denen die Empfehlung fußt, unklar sind.

Eine der Schlüsselkomponenten der Kompetenzentwicklung ist das Feedback [46]. Formatives Feedback kann den Studierenden helfen, sich selbst zu überwachen und festzustellen, ob sie die von ihrer Schule definierten Kompetenzstandards erfüllt haben [47], [48]. Die Qualität und Art des Feedbacks hat einen starken Einfluss auf die Motivation [49] und wird als am nützlichsten erachtet, wenn Ausbilder eine aktive Rolle im Lernprozess übernehmen [50]. Fehlendes Feedback oder mangelnde Unterstützung können zu geringer Motivation und vorzeitiger Beendigung von selbstgesteuerten Kursen führen (49). Daher sollte eine selbstgesteuerte Lernressource die direkte Beteiligung von Dozenten beinhalten. Unser Lernwerkzeug bot eine gemischte Form des Feedbacks an, bestehend aus 3 verschiedenen Komponenten des automatisierten Feedbacks, und eine E-Mail-Funktion, die eine effiziente Einbindung des Schulenden vor Ort ermöglichte.

Es gibt logistische Herausforderungen, den Studierenden ein individuelles Feedback zu geben, wenn es viele Studierenden und wenig Dozenten gibt. Die erste Überlegung richtet sich auf die Skalierbarkeit und Machbarkeit. Ein Beispiel: Für eine Klasse von 100 Studierenden, bei der jeder Studierende 50 Übungs-EKGs absolviert, würde ein Feedback von 5.000 Mal erforderlich sein. Um unserer Gruppe von 314 Studierenden eine bewusste Praxis zu ermöglichen, waren 18.466 Fälle von Praxis und Feedback erforderlich. Da Computeralgorithmen automatisiertes Feedback liefern, war der Arbeitsaufwand für die Dozenten gering. Die Arbeitsbelastung durch zusätzliches Feedback, das die Studierenden per E-Mail von ihren Dozenten vor Ort angeforderten, lag im Durchschnitt bei 25 E-Mails pro Dozent und wurde nicht als überwältigend angesehen. Anders betrachtet: Es gab für jede 360 geübten Fälle eine Feedback-E-Mail-Frage.

Ein weiterer Vorteil des automatisierten Feedbacks ist die Konsistenz; alle Lernenden erhalten die gleiche Qualität des Feedbacks, da der Einfluss der Assessorvariabilität aus dem Prozess entfernt wird. Darüber hinaus kann die Qualität des Feedbacks im Laufe der Zeit gesteigert werden, da Leistungsdaten der Schüler gesammelt und analysiert werden und häufige Fehler identifiziert werden. Diese Informationen decken Änderungen an Falldiskussionen auf, sodass häufige Fehler direkt und präventiv behoben werden können.

Eine positive emotionale Reaktion auf ein Lernumfeld erleichtert das Engagement der Studierenden [51], [52]. Unsere Umfragedaten bestätigten, dass 92% der Studierenden den bewussten Übungs-Lernprozess mit einem hohen Maß an „Spaß“ verbanden oder diesen als „ein wenig angenehm“ einschätzten. Die Erfahrungen der Studierenden können auch durch ihre Wahrnehmung positiv beeinflusst worden sein, dass die Lernressourcen sowohl effektiv als auch effizient waren. Darüber hinaus trug individualisiertes Feedback wahrscheinlich auch zur Zufriedenheit und Leistung der Studierenden bei, da die Studierenden angaben, dass sofortiges Feedback entweder „unbedingt erforderlich“ (95%) oder „hilfreich“ (4%) gewesen war.

Zu den Stärken dieser Studie gehört die unauffällige Erfassung von Lernanalysen während der Kernaktivitäten des Lehrplans, wodurch die Verzerrung der Teilnehmer minimiert und die Datenerfassung maximiert wird. Der Rückgriff auf Daten von 2 medizinischen Fakultäten erhöht die Verallgemeinerbarkeit unserer Ergebnisse. Die Studie war einfach zu implementieren und wird für zukünftige Studien anderer diagnostischer Fähigkeiten skalierbar sein.

Es gibt zahlreiche Einschränkungen innerhalb unserer Forschungsstudie. Ein vergleichendes experimentelles Design ist methodisch stärker, aber das Fehlen einer Kontrollgruppe, mit der wir das Gleichgewicht rechtfertigen konnten, war nicht möglich. Es existierte keine vorherige Methode zur Bereitstellung von bewusster Praxis an beiden medizinischen Fakultäten. Zudem konnten wir die Studierenden nicht in eine Gruppe randomisieren, welche nicht übten; daher ist unsere Studie als eine beobachtende Studie zu betrachten.

Unsere unabhängige Variable wurde auf der Grundlage von Modulfertigstellungen und nicht auf der Grundlage von Einzelfallabschlüssen quantifiziert. Hätten wir unsere Datenerhebung auf abgeschlossene Einzelfälle anstelle der abgeschlossenen Module strukturiert, hätten wir Daten mit höherer Genauigkeit erhalten. Da wir diese Einschränkung nach der Datenerfassung erkannten, haben wir die Datenerfassungssoftware so modifiziert, dass zukünftige Projekte die Daten fallweise analysieren können.

Nach der Analyse stellen wir fest, dass unsere digitale Übungsbibliothek wahrscheinlich zu klein ist, um die Bedürfnisse eines durchschnittlichen Studierenden zu erfüllen, sofern wir eine diagnostische Genauigkeit von 80% oder mehr anstreben. Darüber hinaus schafft die Aufteilung der Fälle in drei getrennte Module wahrscheinlich künstliche und möglicherweise bedeutungslose Stopppunkte für den Lernenden; es wäre wahrscheinlich besser, alle Übungsfälle in ein Modul zu integrieren und auf weit über 50 Übungsfälle zurückzugreifen, um sicherzustellen, dass es am langsameren Ende der Lernkurve genügend Fälle für die Studierenden gibt. Da wir insgesamt 42 Einzelfälle haben, bleiben wir hinter diesem Ziel zurück. Dies stellt eine Einschränkung unserer Studie dar, denn Studierenden, die mehr als 42 Fälle übten, wiederholten Fälle, die sie zuvor geübt hatten.

Wir haben die kurzfristige Beibehaltung der Rhythmusstreifen-Interpretation gemessen; der genaue Zeitpunkt, zu dem die Studierenden die Praxis abgeschlossen haben, wurde nicht gemessen, sondern war in einem 10-wöchigen Lernblock enthalten. Es ist wahrscheinlich, dass zahlreiche Übungen innerhalb von 2-3 Wochen nach der Prüfung stattgefunden haben. Wir können unsere Ergebnisse nicht auf die langfristige Bindung hochrechnen, hoffen aber, die Studierenden zu einem späteren Ausbildungszeitpunkt erneut (höheres Semester) bewerten zu können und unsere Analyse mit einer langfristigen (2 Jahre) Bindung zu wiederholen.

Wir untersuchten die Leistung innerhalb der ACLS-Ebene Rhythmusstreifen-EKG-Interpretation und diese Ergebnisse können nicht auf die volle 12-Kanal-EKG-Interpretation hochgerechnet werden, was mehr Analyse und oft mehrere koexistierende Diagnosen erfordert.

Wichtig ist, dass die Studierenden die EKG-Rhythmen ohne klinischen Kontext interpretierten; die diagnostische Interpretation könnte sich ändern, wenn Patienteninformationen zur Verfügung gestellt werden [53], [54].

Nach unserem Kenntnisstand haben unsere Studierenden in erster Linie ein Lernwerkzeug zur EKG-Interpretationsübung verwendet. Daher können wir unsere Ergebnisse nicht auf andere Lernwerkzeuge hochrechnen; es wäre jedoch sehr interessant, eine Steigung der Lernkurve für verschiedene Werkzeuge zu vergleichen, damit das Werkzeug, welches das schnellste Lernen mit geringstem Aufwand ermöglicht, identifiziert werden kann. Darüber hinaus ist unser Bewertungsinstrument (die Rhythmusstreifen-Prüfung) noch nicht formal validiert worden.

Eine weitere Einschränkung unserer Studie stellt die fehlende Analyse jedes einzelnen Lernenden dar; wir berichten über die Leistungsmöglichkeit einer größeren Anzahl von Studierenden. Nicht alle Lernenden folgen der gleichen Lernkurve; tatsächlich beschreibt der Mittelwert der Schülerleistung selten die Leistung eines einzelnen Schülers [55].

Zusammenfassend lässt sich sagen, dass wir einer großen Gruppe von Medizinstudenten im ersten Studienjahr erfolgreich bewusste Praxis zur Verfügung gestellt haben und unsere Daten quantifizieren eine Lernkurve für die Interpretation von Rhythmusstreifen auf ACLS-Ebene mit einem speziellen Online-Lernmodul. Diese Ergebnisse können bei der curricularen Ausgestaltung des Themas Interpretation von EKG-Rhythmusstreifen behilflich sein, einer erforderlichen Fähigkeit zur Behandlung eines Herzstillstands.


Anmerkungen

Jason Waechter ist der Gründer von teachingmedicine.com. Die für dieses Projekt verwendeten Module sind Open Access und frei zugänglich.

Ethische Anerkennung

Das University of Calgary Conjoint Health Research Ethics Board hat diese Forschungsstudie genehmigt (REB14-0654_MOD2). Die University of McGill hat diese Forschungsstudie genehmigt (IRB-Studiennummer A07-E50-15B).

Frühere Präsentationen

Posterpräsentation mit dem Titel “Learning Curves for ECG Interpretation: Correlating Deliberate Practice with Performance.” Präsentiert auf der Canadian Conference for Medical Education (CCME) 2017.


Danksagung

Wir danken Dr. Rachel Ellaway und Dr. Martin Pusic für die Bearbeitung des Manuskripts und die Unterstützung des Projekts.


Interessenkonflikt

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Jablonover RS, Stagnaro-Green A. ECG as an Entrustable Professional Activity: CDIM Survey Results, ECG Teaching and Assessment in the Third Year. Am J Med. 2016;129(2):226-230. DOI: 10.1016/j.amjmed.2015.10.034 Externer Link
2.
Jablonover RS, Lundberg E, Zhang Y, Stagnaro-Green A. Competency in Electrocardiogram Interpretation Among Graduating Medical Students. Teach Learn Med. 2014;26(3):279-284. DOI: 10.1080/10401334.2014.918882 Externer Link
3.
Kopec G, Magon W, Holda M, Podolec P. Competency in ECG Interpretation Among Medical Students. Med Sci Monit 2015;21:3386-3394. DOI: 10.12659/MSM.895129 Externer Link
4.
Pinkerton RE, Francis CK, Ljungquist KA, Howe GW. Electrocardiographic training in primary care residency programs. JAMA. 1981;246(2):148-150. DOI: 10.1001/jama.1981.03320020040021 Externer Link
5.
Sur DK, Kaye L, Mikus M, Goad J, Morena A. Accuracy of electrocardiogram reading by family practice residents. Fam Med. 2000;32(5):315-319.
6.
Goodacre S, Webster A, Morris F. Do computer generated ECG reports improve interpretation by accident and emergency senior house officers? Postgrad Med J. 2001;77(909):455-457. DOI: 10.1136/pmj.77.909.455 Externer Link
7.
Higueras J, Gómez-Talkavera S, Ganadas V, Bover R, Losas M, Gómez-Polo JC, Olmos C, Fernandez C, Villacastin J, Macaya C. Expertise in Interpretation of 12-Lead Electrocardiograms of Staff and Residents Physician: Current Knowledge and Comparison between Two Different Teaching Methods. J Caridol Curr Res. 2016;5(3):00160. DOI: 10.1546/jccr.2016.05.00160 Externer Link
8.
Hartman ND, Wheaton NB, Williamson K, Quattromani EN, Branzetti JB, Aldeen AZ. A Novel Tool for Assessment of Emergency Medicine Resident Skill in Determining Diagnosis and Management for Emergent Electrocardiograms: A Multicenter Study. J Emerg Med. 2016;51(6):697-704. DOI: 10.1016/j.jemermed.2016.06.054 Externer Link
9.
Eslava D, Dhillon S, Berger J, Homel P, Bergmann S. Interpretation of electrocardiograms by first-year residents: the need for change. J Electrocardiol. 2009;42(6):693-697. DOI: 10.1016/j.jelectrocard.2009.07.020 Externer Link
10.
Morrison WG, Swann IJ. Electrocardiograph interpretation by junior doctors. Arch Emerg Med. 1990;7(2):108-110. DOI: 10.1136/emj.7.2.108 Externer Link
11.
Jayes RL Jr, Larsen GC, Beshansky JR, D'Agostino RB, Selker HP. Physician electrocardiogram reading in the emergency department – accuracy and effect on triage decisions: findings from a multicenter study. J Gen Intern Med. 1992 Jul-Aug;7(4):387-92. DOI: 10.1007/bf02599153 Externer Link
12.
Kuhn M, Morgan MT, Hoffman JR. Quality assurance in the emergency department: evaluation of the ECG review process. Ann Emerg Med. 1992;21(1):10-15. DOI: 10.1016/S0196-0644(05)82229-2 Externer Link
13.
Kohn LT, Corrigan JM, Donaldson MS. To Err is Human: Building a Safer Health System. Washington (DC): National Academies Press (US); 2000.
14.
Snoey ER, Housset B, Guyon P, ElHaddad S, Valty J, Hericord P. Analysis of emergency department interpretation of electrocardiograms. J Acc Emerg Med. 1994;11(3):149-153. DOI: 10.1136/emj.11.3.149 Externer Link
15.
Eslava D, Dhillon S, Berger J, Homel P, Bergmann S. Interpretation of electrocardiograms by first-year residents: the need for change. J Electrocard. 2009;42(6):693-697. DOI: 10.1016/j.jelectrocard.2009.07.020 Externer Link
16.
Barsuk JH, Cohen ER, Caprio T, Mcgaghie WC, Simuni T, Wayne DB. Simulation-based education with mastery learning improves residents&apos; lumbar puncture skills. Neurol. 2012;79(2):132-137. DOI: 10.1212/WNL.0b013e31825dd39d Externer Link
17.
Dlouhy BJ, Rao RC. Surgical skill and complication rates after bariatric surgery. New Engl J Med. 2014;370(3):285-. DOI: 10.1056/NEJMc1313890 Externer Link
18.
Barsuk JH, Ahya SN, Cohen ER, Mcgaghie WC, Wayne DB. Mastery learning of temporary hemodialysis catheter insertion by nephrology fellows using simulation technology and deliberate practice. Am J Kidney Dis. 2009;54(1):70-76. DOI: 10.1053/j.ajkd.2008.12.041 Externer Link
19.
Cohen ER, Mcgaghie WC, Wayne DB, Lineberry M, Yudkowsky R, Barsuk JH. Recommendations for Reporting Mastery Education Research in Medicine (ReMERM). Acad Med. 2015;90(11):1509-1514. DOI: 10.1097/ACM.0000000000000933 Externer Link
20.
Mcgaghie WC, Barsuk JH, Wayne DB. Mastery Learning With Deliberate Practice in Medical Education. Acad Med. 2015;90(11):1575. DOI: 10.1097/ACM.0000000000000876 Externer Link
21.
Ericsson KA. Acquisition and maintenance of medical expertise: a perspective from the expert-performance approach with deliberate practice. Acad Med. 2015;90(11):1471-1486. DOI: 10.1097/ACM.0000000000000939 Externer Link
22.
Pusic M, Pecaric M, Boutis K. How Much Practice Is Enough? Using Learning Curves to Assess the Deliberate Practice of Radiograph Interpretation. Acad Med. 2011;86(6):731-736. DOI: 10.1097/ACM.0b013e3182178c3c Externer Link
23.
Ericsson KA. Deliberate practice and the Acquisition and Maintenance of Expert Performance in Medicine and Related Domains. Acad Med. 2004;79(10 Suppl):S70-81. DOI: 10.1097/00001888-200410001-00022 Externer Link
24.
Kirkman MA. Deliberate practice, domain-specific expertise, and implications for surgical education in current climes. J Surg Educ. 2013;70(3):309-317. DOI: 10.1016/j.jsurg.2012.11.011 Externer Link
25.
Mcgaghie WC, Issenberg SB, Cohen ER, Barsuk JH, Wayne DB. Does Simulation-Based Medical Education With Deliberate Practice Yield Better Results Than Traditional Clinical Education? A Meta-Analytic Comparative Review of the Evidence. Acad Med. 2011;86(6):706-711. DOI: 10.1097/ACM.0b013e318217e119 Externer Link
26.
Duckworth AL, Kirby TA, Tsukayama E, Berstein H, Ericsson KA. Deliberate Practice Spells Success: Why Grittier Competitors Triumph at the National Spelling Bee. Soc Psychol Person Sci. 2011;2(2):174-181. DOI: 10.1177/1948550610385872 Externer Link
27.
Mcgaghie WC, Issenberg SB, Cohen ER, Barsuk JH, Wayne DB. Medical Education Featuring Mastery Learning With Deliberate Practice Can Lead to Better Health for Individuals and Populations. Acad Med. 2011;86(11):e8-e9. DOI: 10.1097/ACM.0b013e3182308d37 Externer Link
28.
Macnamara BN, Moreau D, Hambrick DZ. The Relationship Between Deliberate Practice and Performance in Sports. Perspect Psychol Sci. 2016;11(3):333-350. DOI: 10.1177/1745691616635591 Externer Link
29.
Macnamara BN, Hambrick DZ, Oswald FL. Deliberate Practice and Performance in Music, Games, Sports, Education, and Professions: A Meta-Analysis. Psychol Sci. 2014;25(8):1608-1618. DOI: 10.1177/0956797614535810 Externer Link
30.
Wayne DB, Butter J, Siddall VJ, Fudala MJ, Wade LD, Feinglass J, McGaghie WC. Mastery learning of advanced cardiac life support skills by internal medicine residents using simulation technology and deliberate practice. J Gen Intern Med. 2006;21(3):251-256. DOI: 10.1111/j.1525-1497.2006.00341.x Externer Link
31.
Barsuk JH, Cohen ER, Vozenilek JA, O'Connor LM, Mcgaghie WC, Wayne DB. Simulation-based education with mastery learning improves paracentesis skills. J Grad Med Educ. 2012;4(1):23-27. DOI: 10.4300/JGME-D-11-00161.1 Externer Link
32.
O'Brien KE, Cannarozzi ML, Torre DM, Mechaber AJ, Durning SJ. Training and Assessment of ECG Interpretation Skills: Results From the 2005 CDIM Survey. Teach Learn Med. 2009;21(2):111-115. DOI: 10.1080/10401330902791255 Externer Link
33.
Englander R, Flynn T, Call S, Carraccio C, Cleary L, Fulton TB, et al. Toward Defining the Foundation of the MD Degree: Core Entrustable PRofessional Activities for Entering Residency. Acad Med. 2016;91(10):1352-1358. DOI: 10.1097/ACM.0000000000001204 Externer Link
34.
Salerno SM, Alguire PC, Waxman HS. Competency in Interpretation of 12-Lead Electrocardiograms: A Summary and Appraisal of Published Evidence. Ann Intern Med. 2003;138(9):751-760. DOI: 10.7326/0003-4819-138-9-200305060-00013 Externer Link
35.
Ringsted C, Hodges B, Scherpbier A. 'The research compass': An introduction to research in medical education: AMEE Guide No. 56. Med Teach. 2011;33(9):695-709. DOI: 10.3109/0142159X.2011.595436 Externer Link
36.
Fleishman EA. On the relation between abilities, learning, and human performance. Am Psychol. 1972:1017-1032. DOI: 10.1037/h0033881 Externer Link
37.
Eppich WJ, Hunt EA, Duval-Arnould JM, Siddall VJ, Cheng A. Structuring Feedback and Debriefing to Achieve Mastery Learning Goals. Acad Med. 2015;90(11):1501-1508. DOI: 10.1097/ACM.0000000000000934 Externer Link
38.
Team RC. R: A Language and Environment for Statistical Computing. 2014.
39.
Pinheiro J, Bates D, DebRoy S, Sarkar D. nlme: Linear and Nonlinear Mixed Effects Models. 2018.
40.
Paine CET, Marthews TR, Vogt DR, Purves D, Rees M, Hector A, Turnball LA. How to fit nonlinear plant growth models and calculate growth rates: an update for ecologists. Method Ecol Evol. 2011;3(2):245-256. DOI: 10.1111/j.2041-210X.2011.00155.x Externer Link
41.
Waechter J. Unpublished data from University of Calgary, Undergraduate Medical School, years 2014-2017. Calgary: University of Calgary; 2017.
42.
Raupach T, Brown J, Anders S, Hasenfuss G, Harendza S. Summative assessments are more powerful drivers of student learning than resource intensive teaching formats. BMC Med. 2013;11(1):61. DOI: 10.1186/1741-7015-11-61 Externer Link
43.
Raupach T, Hanneforth N, Anders S, Pukrop T, Th J ten Cate O, Harendza S. Impact of teaching and assessment format on electrocardiogram interpretation skills. Med Educ. 2010;44(7):731-740. DOI: /10.1111/j.1365-2923.2010.03687.x Externer Link
44.
Raupach T, Andresen JC, Meyer K, Strobel L, Koziolek M, Jung W, Brown J, Anders S. Test-enhanced learning of clinical reasoning: a crossover randomised trial. Med Educ. 2016;50(7):711-720. DOI: 10.1111/medu.13069 Externer Link
45.
Kadish AH, Buxton AE, Kennedy HL, Knight BP, Mason JW, Schuger CD, Tracy CM, Winters WL Jr, Boone AW, Elnicki M, Hirshfeld JW Jr, Lorell BH, Rodgers GP, Tracy CM, Weltz HH; American College of Cardiology/American Heart Association/American College of Physicians-American Society of Internal Medicine Task Force; International Society for Holter and Noninvasive Electrocardiology. ACC/AHA clinical competence statement on electrocardiography and ambulatory electrocardiography: A report of the ACC/AHA/ACP-ASIM task force on clinical competence (ACC/AHA Committee to develop a clinical competence statement on electrocardiography and ambulatory electrocardiography). Circulation. 2001;104(25):3169-3178. DOI: 10.1161/circ.104.25.3169 Externer Link
46.
Mitchell T, Chen SY, Macredie RD. The relationship between web enjoyment and student perceptions and learning using a web-based tutorial. Learn Media Technol. 2005;30(1):27-40. DOI: 10.1080/13581650500075546 Externer Link
47.
Harlen W, Crick RD. A systematic review of the impact of Summative assessment and tests on students' motivation for Learning (EPPI-Centre Review, version 1.1*). Research Evidence in Education Library.: EPPI Center; 2002.
48.
Pusic MV, Chiaramonte R, Gladding S, Andrews JS, Pecaric MR, Boutis K. Accuracy of self-monitoring during learning of radiograph interpretation. Med Educ. 2015;49(8):838-846. DOI: 10.1111/medu.12774 Externer Link
49.
Orrell J. Feedback on learning achievement: rhetoric and reality. Teach High Educ. 2006;11(4):441-456. DOI: 10.1080/13562510600874235 Externer Link
50.
Ericsson KA, Krampe RT, Tesch-Römer C. The role of Deliberate Practice in the Acquisition of Expert Performance. Psychol Rev. 1993;100(3):363-406. DOI: 10.1037/0033-295X.100.3.363 Externer Link
51.
Malone TW. Toward a theory of intrinsically motivating instruction. Cogn Sci. 1981;5(4):333-369. DOI: 10.1207/s15516709cog0504_2 Externer Link
52.
Huang WH, Soman D. A Practitioner's Guide to Gamification of Education. Research Report Series Behavioural Economics in Action. Toronto: University of Toronto, Rotman School of Management; 2013.
53.
Grum CM, Gruppen LD, Woolliscroft JO. The influence of Vignettes on EKG Interpretation by Third-year Students. Acad Med. 1993;68(10 Suppl):S61-63. DOI: 10.1097/00001888-199310000-00047 Externer Link
54.
Hatala R, Norman GR, Brooks LR. Impact of a clinical scenario on accuracy of electrocardiogram interpretation. J Gen Intern Med. 1999;14(2):126-129. DOI: 10.1046/j.1525-1497.1999.00298.x Externer Link
55.
Pusic MV, Boutis K, Hatala R, Cook DA. Learning Curves in Health Professions Education. Acad Med. 2015;90(8):1034-1042. DOI: 10.1097/ACM.0000000000000681 Externer Link