gms | German Medical Science

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

ISSN 2366-5017

Webcam-basiertes Eye-Tracking zur Messung von visueller Expertise bei Medizinstudierenden in einem Online-Histologiekurs

Artikel Expertiseentwicklung

Suche in Medline nach

  • corresponding author Dogus Darici - Westfälische-Wilhelms-Universität, Institut für Anatomie and Neurobiologie, Münster, Deutschland
  • Carsten Reissner - Westfälische-Wilhelms-Universität, Institut für Anatomie and Neurobiologie, Münster, Deutschland
  • corresponding author Markus Missler - Westfälische-Wilhelms-Universität, Institut für Anatomie and Neurobiologie, Münster, Deutschland

GMS J Med Educ 2023;40(5):Doc60

doi: 10.3205/zma001642, urn:nbn:de:0183-zma0016429

Dieses ist die deutsche Version des Artikels.
Die englische Version finden Sie unter: http://www.egms.de/en/journals/zma/2023-40/zma001642.shtml

Eingereicht: 30. September 2022
Überarbeitet: 6. Juni 2023
Angenommen: 7. Juli 2023
Veröffentlicht: 15. September 2023

© 2023 Darici et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Ziel: Visuelle Expertise spielt eine wichtige Rolle bei der Prozessierung von Bildern, wie sie häufig in der Radiologie oder Histologie vorkommen. Studien zeigen, dass sich mit zunehmender visueller Expertise die Augenbewegungen der Untersuchenden verändern. Die Entwicklungen im Webcam-Eye-Tracking ermöglichen seit einiger Zeit den kostengünstigen und flächendeckenden Einsatz dieser Methode. Die vorliegende Studie untersuchte die Qualität dieser Technologie in einem Histologie-Kurs im Sommersemester 2021.

Methoden: An zwei Zeitpunkten wurden Medizinstudierende im dritten Semester gebeten, eine Reihe histologischer Präparate zu beurteilen. Währenddessen wurden ihre Augenbewegungen aufgezeichnet und gemeinsam mit der Performanz, sowie behavioralen Parameter mittels Varianzanalysen und multipler Regressionsmodelle analysiert.

Ergebnisse: Die Ergebnisse zeigten, dass Webcam-Eye-Tracking qualitativ hochwertige Daten liefern kann (mittlere Genauigkeit=115.7 px±31.1). Außerdem spiegelten Augenbewegungen die Fähigkeit der Teilnehmenden wider, relevante Bildbereiche zu finden (Fixationsanzahl relevanter Bereiche=6.96±1.56 vs. irrelevanter Bereiche = 4.50±1.25). Schließlich konnten die Augenbewegungen der Teilnehmenden deren Leistung vorhersagen (R2adj=0.39, p<0.001).

Diskussion: Diese Studie unterstützt den Einsatz von Webcam-Eye-Tracking Technologie zur Erfassung von visueller Expertise. Da auch die Akzeptanz hoch war, werden mögliche Implementierungsoptionen diskutiert.

Schlüsselwörter: digitale Histologie, Eye-Tracking-Studie, Histologietraining, Online-Bildung, visuelle Expertise, Entwicklung visueller Expertise, Webcam-Eye-Tracking, Webcam-Eye-Tracking-Methodik


Einleitung

In zahlreichen Studien wurden die Augenbewegungsmuster erfahrener und unerfahrener Diagnostiker miteinander verglichen [4], [6], [23], [26], [27], [29], [30], [33], [35], [39], [49]. Die Ergebnisse zeigen eindrücklich, dass Unterschiede in den Augenbewegungen mit dem Grad der Expertise in Verbindung stehen und die diagnostische Genauigkeit widerspiegeln können [12], [39]. Zum Beispiel richten erfahrene Histopathologen ihren Blick häufiger, länger und schneller auf relevante Bildbereiche als Novizen [4], [35]. Solche Unterschiede im visuellen Verhalten wurden auch in anderen Bereichen festgestellt, wie dem Schachspiel [18], der Pilotenausbildung [62], in medizinischen Bereichen wie Radiologie [14], [33], [36], EKG-Interpretation [53], diagnostischer Entscheidungsfindung [52] und Histopathologie [4], [6], [26], [35]. Für die Durchführung dieser Studien wurden in der Regel moderne Nahinfrarot-Eye-Tracking-Geräte verwendet, die eine präzise und zuverlässige Erfassung der Augenbewegungen am Bildschirm ermöglichen.

Trotz dieser vielversprechenden Vorbefunde wird Eye-Tracking in der medizinischen Ausbildung bisher aufgrund verschiedener Implementierungshürden nur selten eingesetzt [16], [32]. Zum einen sind moderne Eye-Tracking System relativ teuer, mit Kosten weit über 10.000 US-Dollar pro Gerät. Zum anderen erfordert der Einsatz dieser Technologie beträchtliche personelle Ressourcen, da geschultes Personal für die Kalibrierung und Durchführung erforderlich ist. Da zudem große Datenmengen gesammelt werden, müssen komplexe statistische Methoden angewendet werden. Aus diesen Gründen wurden Eye-Tracker bisher hauptsächlich in spezialisierten Laboren und unter kontrollierten Laborbedingungen eingesetzt. Um diese Hürden zu überwinden, arbeitet die Informatik kontinuierlich an neuen technischen Lösungen. Ein vielversprechender Ansatz wurde von Papoutsaki und Kollegen vorgeschlagen [44], [45]. Sie entwickelten einen OpenSource Programmiercode in JavaScript, mit dem die Augenbewegungen mithilfe von eingebauten Webcams in alltäglichen Geräten wie Laptops, Tablets und Mobiltelefonen erfassen werden können. Diese Webcam-Eye-Tracking Technologie wurde schließlich in benutzerfreundliche Online-Plattformen mit grafischen Benutzeroberflächen integriert und die Ausführung sowie die Kalibrierung vollautomatisiert. Dieser Ansatz vereint mehrere Vorteile: Er ist kostengünstiger, weit verbreitet und einfach zu bedienen. Dadurch können Teilnehmer an Online-Eye-Tracking-Studien auch von zu Hause und zu passenden Zeiten teilnehmen, was die Wahrscheinlichkeit der Studienteilnahme erhöht. Es ist jedoch wichtig, bei Eye-Tracking-basierten Untersuchungen besonders auf die Datenqualität zu achten, da Unterschiede im Verhalten der Teilnehmer während der Durchführung die Datenqualität beeinflussen können [25].

Die vorliegende Studie untersuchte den Einsatz von Webcam-Eye-Tracking in einem curricularen Online-Histologiekurs, der aufgrund der COVID-19-Pandemie online durchgeführt wurde. Als theoretisches Framework diente das Konstrukt der visuellen Expertise, das eine lange Tradition in der Eye-Tracking-Literatur hat [24], [46] und zu dem bereits Vorbefunde in der Histopathologie vorliegen [4], [26]. Visuelle Expertise bietet dabei vor allem einen interpretativen Rahmen für die erhobenen Daten, ermöglicht es, die Augenbewegungen in einen theoretischen Kontext zu stellen und abstrakte Konzepte zu operationalisieren.

Visuelle Expertise in der Histopathologie

Visuelle Expertise umfasst ein komplexes Zusammenspiel zwischen wahrnehmenden und kognitiven Prozessen [15]. Sie ist domainspezifisch, entwickelt sich durch Training und führt zu einer höheren Präzision bei der Bildsuche, -erkennung und -entscheidung [15]. Ursprünglich aus der Schachforschung stammend, wird sie heute als eines der Hauptlernziele in Trainings angesehen, bei denen die Beurteilung visueller Informationen zentral ist, wie in der Histopathologie, makroskopischen Anatomie oder Radiologie [47], [59]. Zur Erfassung von visueller Expertise bieten sich Augenbewegungen an, da sie oft unwillkürlich erfolgen und die Fähigkeit zur Erkennung von Mustern widerspiegeln [32]. Dieser Ansatz wird vor allem durch die Eye-Mind-Hypothese gestützt, die postuliert, dass es eine enge Verbindung gibt zwischen dem, was die Augen sehen und dem, womit sich das Gehirn in dem Moment „beschäftigt“ [1], [28].

Bisherige Studien zur visuellen Expertise in der Histopathologie charakterisierten vor allem die Augenbewegungen erfahrener Pathologen [6], [26]. In einem Experten-Novizen-Paradigma wurden die Augenbewegungen der Pathologen mit denen von Novizen verglichen. Es wird im Allgemeinen angenommen, dass Novizen visuelle Expertise entwickeln, wenn sich ihr visuelles Verhalten dem des Experten annähert. Diese Entwicklungsprozesse sind größtenteils unbewusst und spiegeln prozedurale Mustererkennungsfähigkeiten und implizites Wissen („tacit knowledge“) wider [8], [31], [32], [34].

Theoretische Konzepte von visueller Expertise

Einflussreiche und empirisch-gestützte Theorien zur Erklärung von visueller Expertise sind die holistische Verarbeitungstheorie und das Informationsreduktionsmodell [19], [36], [51]. Die holistische Verarbeitungstheorie postuliert, dass Personen mit einer hohen visuellen Expertise eine stärker integrierte Bildwahrnehmung aufweisen, die es ihnen ermöglicht, den Fokus schnell auf diagnostisch relevante Bereiche (dAOIs) auf dem Bild zu lenken. Die Zeit, die benötigt wird, um den Blick erstmals auf ein dAOI zu lenken (Zeit bis zur ersten Fixation von dAOIs), wurde daher mit einem höheren Maß an visueller Expertise in Verbindung gebracht [51]. Dieses visuelle Verhalten wird neurobiologisch vermutlich durch ein größeres parafoveales Sichtfeld ermöglicht [51], d.h., Experten erfassen und prozessieren Bildinformationen aus einem breiteren Sichtfeld. Dies ermöglicht es ihnen, wichtige Bildbereiche früher zu entdecken und ihren Blick schneller darauf zu lenken. Daher ist bei einer Zunahme von Expertise zu erwarten, dass sich die Zeit zur Lösung einer Aufgabe (Betrachtungszeit) verkürzt [4], [6]. Eine weitere prominente Theorie ist das Informationsreduktionsmodell, das eng mit der Idee der selektiven Verarbeitung verknüpft ist [19]. Diese Theorie geht davon aus, dass Experten diagnostisch irrelevante Informationen vernachlässigen und stattdessen ihren Fokus auf dAOIs lenken, um mentale Ressourcen zu sparen. Im Gegensatz dazu erkennen Novizen dAOIs nicht, sondern lenken ihren Blick vor allem auf visuell auffällige, jedoch diagnostisch irrelevante Bereiche (vAOIs) [6]. Daher kann nach dem Informationsreduktionsmodell eine erfolgreiche Entwicklung visueller Expertise durch häufigere und längere Fixationen von dAOIs, sowie weniger häufige und kürzere Fixationen von vAOIs operationalisiert werden.

Viele Unterschiede zwischen Experten und Anfängern können durch eine Kombination der oben genannten Theorien erklärt werden, wobei Eye-Tracking die Messbarkeit wichtiger Aussagen dieser Theorien überhaupt ermöglicht.

Forschungsfragen

Forschungsfrage 1: Wie genau kann Webcam-Eye-Tracking Augenbewegungen erfassen?

Eine hohe Genauigkeit würde erreicht, wenn eine hohe Akkuratheit und Präzision, sowie eine hohe Datenintegrität (=wenig Datenverlust), sowie eine hohe Bildrate erzielt werden [24], [25].

Forschungsfrage 2: Wie zuverlässig kann Webcam-Eye-Tracking Unterschiede in der visuellen Expertise erfassen?

Wir erwarteten, dass Studierende im Laufe des Histologiekurses natürlicherweise visuelle Expertise entwickeln. Dies würde sich in einer kürzeren Betrachtungszeit histologischer Bilder und höheren Testscores zeigen. Entsprechend der holistischen Verarbeitungstheorie, sowie dem Informationsreduktionsmodell sollten sich diese Unterschiede auch in den Augenbewegungen zeigen, wie z. B. in einer reduzierten Zeit bis zur ersten Fixation von dAOIs, sowie einer höheren Fixationanzahl von dAOIs. Wir postulierten entgegengesetzte Effekte für visuell saliente, jedoch diagnostisch irrelevante vAOIs.

Forschungsfrage 3: Wie zuverlässig kann Webcam-Eye-Tracking zwischen Performanzen unterscheiden?

Da Augenbewegungen ein Surrogat für visuelle Expertise sind [4], sollten interindividuelle Differenzen anhand von Augenbewegungen vorhersagbar sein. Daher sollten statistische Modelle die Testleistun


Methoden

Diese Studie wurde im Sommersemester 2021 an der Westfälischen Wilhelms-Universität in Münster durchgeführt. An zwei Messzeitpunkten wurden Medizinstudierende im dritten Fachsemester longitudinal und parallel zu einem curricularen Online-Histologiekurs untersucht (siehe Anhang 1 [Anh. 1]).

Stichprobe

Die erste Messung (t1) wurde nach 10 dreistündigen Kursveranstaltungen durchgeführt. Für die Datenanalyse wurden hierfür 51 Studierende einbezogen (Durchschnittsalter 21.56±2.21 Jahre; 35 weiblich). Die zweite Messung (t2) wurde nach 20 dreistündigen Sitzungen und unmittelbar vor einer schriftlichen Abschlussprüfung durchgeführt, da wir an diesem späten Punkt eine deutliche Verbesserung der visuellen Expertise der Studierenden erwarten konnten. An t2 wurden 77 Studierende rekrutiert (Durchschnittsalter 21.97±2.25 Jahre; 59 weiblich). Von allen Studierenden wurde eine informierte Einwilligung eingeholt. Diese Studie wurde gemäß der Deklaration von Helsinki durchgeführt. Das Studienprotokoll wurde von der Ethikkommission („Ethik-Kommission der Ärztekammer Westfalen-Lippe und der Westfälischen Wilhelms-Universität“) akzeptiert.

Studienablauf der Webcam-Eye-Tracking-Studie

Das Studiendesign entspricht einem Ein-Gruppen Prä-Post-Interventionsdesign mit einem Messintervall von 7 Wochen (= 10 Kurseinheiten) (siehe Anhang 1 [Anh. 1]). Aufgrund der COVID-19-Pandemie nahmen alle Teilnehmenden online an dem Kurs teil. Es wurde zunächst eine Pilotstudie mit zwei Personen durchgeführt, um die Eye-Tracking-Umgebung zu optimieren. Hier lag der Schwerpunkt auf der Anpassung der Dauer der Präsentationszeit und der Beurteilung des Verhaltens während der Studie. Die eigentlichen Studienteilnehmenden wurden während des Online-Kurses rekrutiert und erhielten einen Hyperlink, der zur Online-Studie führte. Sie konnten die Studie flexibel in einem vier wöchigen Zeitraum von zu Hause aus durchführen. Nachdem der Hyperlink aufgerufen wurde, absolvierten die Teilnehmenden zunächst eine 40-Punkte Eye-Tracking-Kalibrierung und einen 4-Punkte-Genauigkeitstest (siehe Abbildung 1 [Abb. 1] und Abbildung 2 a [Abb. 2]). Anschließend betrachteten die Teilnehmenden sechs histologische Präparate, jeweils maximal 15 Sekunden lang. Nach jedem Präparat wurden die Teilnehmenden aufgefordert, das Organ auf dem Präparat zu identifizieren. Dabei wurden die Testergebnisse, die Betrachtungszeit und die Augenbewegungen erfasst.

Online-Eye-Tracking mit Webcams

Für die Aufzeichnung der binokularen Augenbewegungen wurde ein OpenSource JavaScript-Code namens WebGazer verwendet [45]. Die Studie dauerte ungefähr 10-15 Minuten und wurde im Vollbildmodus eines Webbrowsers ausgeführt. Die Installation von zusätzlicher Software war nicht erforderlich. Während der Sitzung wurden keine persönlichen Bilddaten übertragen, da der JavaScript-Code lokal auf dem Computer der Teilnehmenden die Berechnungen durchführt. Die Ausgabe lieferte entsprechenden binokularen X- und Y-Koordinaten mit einem Zeitstempel sowie anonymisierte Teilnehmer-IDs. Wir boten per E-Mail technischen Support für Studierende an, die Probleme hatten (n=1 bei t2).

Stimuli und Instruktion

An beiden Zeitpunkten wurden jeweils sechs verschiedene histologische Präparate gezeigt. Es wurde darauf geachtet, dass das Schwierigkeitsniveau zwischen den Messzeitpunkten gleich war (siehe Abbildung 2 [Abb. 2]). An beiden Messzeitpunkten wurden unterschiedliche Präparate verwendet, um das Wiedererkennen anhand unspezifischer Muster (z. B. Färbung) zu verhindern. Die Instruktion lautete: „Identifizieren Sie das folgende Organ“. Aus unserer eigenen Erfahrung in zahlreichen mündlichen Prüfungen halten wir die schnelle Identifikation histologischer Präparate für eine hochselektive und trennscharfe Aufgabe für Novizen. Die Präparate wurden in derselben Reihenfolge und für eine maximale Dauer von 15 Sekunden präsentiert. Die Betrachtungszeit wurde bewusst kurzgehalten, um die Gesamtschwierigkeit zu erhöhen und um schnelle Mustererkennungsfähigkeiten zu erfassen. Scrollen oder Zoomen wurde deaktiviert, um die Komplexität für die Teilnehmenden zu reduzieren und die Vergleichbarkeit zu verbessern. Teilnehmende, die die Aufgabe in weniger als 15 Sekunden abgeschlossen hatten, konnten direkt zur Abfrage springen, um „unnötige Augenbewegungen“ zu vermeiden. Es war nicht möglich, zu den Präparaten zurückzukehren.

Testergebnisse

Um die Ratewahrscheinlichkeit zu reduzieren, wurden den Teilnehmenden Freitextfragen anstelle von Multiple-Choice Fragen gestellt („Welches Organ haben Sie identifiziert?“) [21]. Somit mussten die Studierenden die korrekten Antworten aktiv formulieren. Die schriftlichen Antworten wurden manuell und blind vom Erstautor ausgewertet. Korrekte Antworten wurden mit einem Punkt benotet. Der Testscore wurde als Summe aller korrekten Antworten berechnet (max. 6 Punkte). Am Ende der Studie erhielten die Teilnehmenden Musterlösungen, um sie für ihre Teilnahme zu belohnen (siehe Tabelle 1 [Tab. 1]).

Datenanalyse

Die Visualisierung der Eye-Tracking-Daten wurde mit der Software RStudio (Version 1.3.1093, RStudio Team, 2020) unter Verwendung der Scanpath-Erweiterung [61] erstellt. Statistische Analysen wurden mit SPSS, Version 28 (IBM Corp., Armonk, NY) durchgeführt. Alle Testungen erfolgten unter einem Signifikanzniveau von α=0,05 und wurden durch einen zweiseitigen p-Wert sowie eine Effektstärke (partieller) η2 spezifiziert. Ein η2 größer als 0.14 wurde dabei als starker Effekt angenommen. Um mittlere Unterschiede zu erfassen, wurde ein zweiseitiger t-Test oder eine ANOVA (>2 Variablen) mit Bonferroni-Korrektur für mehrfache Tests durchgeführt. Um den diskreten Vorhersagewert der Augenbewegungen (unabhängige Variable) auf den Testscore (abhängige Variable) zu ermitteln, wurde eine multivariate Regressionsanalyse zu jedem Messzeitpunkt durchgeführt.


Ergebnisse

Die Webcam-Eye-Tracking-Methode zeigt eine akzeptable Datenqualität

Eine Blickwolke zeigt die Ergebnisse des 4-Punkte-Genauigkeitstests (siehe Abbildung 3 a [Abb. 3]). Die Blickintensität wird durch verschiedene Farben veranschaulicht (rot>gelb>grün>blau>schwarz). Die Blickwolke in der Mitte des Bildschirms entspricht dem zentralen Fixationsbias. In den oberen beiden Quadranten gab es eine geringfügige Abweichung nach unten. Die Klick-zu-Blick-Genauigkeit war an beiden Zeitpunkten akzeptabel, mit einem Durchschnittswert von 115.7 px±31.1 an t1 und M=116.9 px±25.8 an t2 (siehe Abbildung 3 b [Abb. 3]). Dieser Wert stellt die Abweichung des Ziel-Punktes von der tatsächlichen Blickposition dar, wobei ein kleinerer Wert auf eine höhere Genauigkeit hinweist. Die Webcam-Bildrate der Teilnehmenden lag im Bereich von 14-32 Hz (M=28.8 Hz±4.1) an t1 und 2-32 Hz (M=28.3 Hz±5.1) an t2 (siehe Abbildung 3 c [Abb. 3]). Die Blick-auf-Bildschirm-Rate der Teilnehmenden lag zwischen 29-99% (M=88.8%±15.3) an t1 und 3-99% (M=86.0%±19.5) an t2 (siehe Abbildung 3 d [Abb. 3]). Die Datenintegrität (Vollständigkeit der Daten) betrug an t1 M=92.17%±5.98 und bei t2 M=93.35%±6.01; somit gingen in beiden Zeitpunkten etwa 7-8% der Daten verloren (siehe Abbildung 3 e [Abb. 3]). Gründe für diesen Verlust können Schwierigkeiten bei der Erkennung und Blinzeln sein.

Webcam-Eye-Tracking misst die Entwicklung von visueller Expertise in der Histologie

Die erste Analyse zielte darauf ab zu überprüfen, ob sich die Studierenden im Laufe des Kurses in ihrer visuellen Expertise überhaupt verbessert haben (siehe Abbildung 4 [Abb. 4]). Die anschließenden Analysen zu den Augenbewegungen wurden durchgeführt, um zu zeigen, dass Webcam-Eye-Tracking diese Unterschiede messen kann (siehe Abbildung 5 [Abb. 5]).

Der Testscore steigt an und die Betrachtungszeit nimmt von t1 zu t2 ab

Der Testscore verbesserte sich (t(91)=5.69, p<0.001, η2=0.26) von M=1.69 Punkten±0.69 an t1 auf M=3.48 Punkten±1.31 an t2, was auf eine Verbesserung der visuellen Expertise hinweist. Die Analyse der Gesamtbetrachtungszeit an t1 (M=14.35 s±1.09) und t2 (M=12.38 s±2.08) zeigte erwartungsgemäß einen Rückgang (t(91)=5.99, p<0.001, η2=0.28) (siehe Abbildung 4 [Abb. 4]). Es gab einen Deckeneffekt für die Betrachtungszeit und einen Bodeneffekt für den Testscore zu beiden Zeitpunkten (t1>t2), was darauf hindeutet, dass die Aufgabe für die Teilnehmenden sehr anspruchsvoll war.

Die Fixation von dAOIs ist an t2 höher, als an t1

An t1 gab es keinen Unterschied zwischen der Anzahl an Fixationen der dAOI und der vAOI (F(51)=1.74, p>0.999), was zeigt, dass die Teilnehmenden nicht effektiv zwischen irrelevanten und wichtigen Bereichen unterscheiden konnten (mittlere Fixationsanzahl für dAOI=2.10±0.69 vs. vAOI=1.12±0.37) (siehe Abbildung 5 b [Abb. 5]). Studierende an t2 zeigten jedoch eine stärkeren Orientierung zu dAOIs (F(42)=3.53, p=0.003, η2=0.43), (mittlere Fixationsanzahl für dAOI=6.96±1.56 vs. vAOI=4.50±1.25), passend zum Informationsreduktionsmodell.

Die Zeit bis zur ersten Fixation von dAOIs ist an t2 geringer

An t1 gab es keinen signifikanten Unterschied zwischen der Zeit bis zur ersten Fixation von dAOIs (M=5394 ms±1025) und vAOIs (M=5696 ms±1515), (F(51)=1.29, p>0.999), während an t2 die Zeit bis zur ersten Fixation für dAOIs (M=2862 ms±965) geringer war als für vAOIs (M=3557 ms±1094) (F(51)=2.69, p=0.046, η2=0.10) (siehe Abbildung 5 d [Abb. 5]). Zusammenfassend konnten die Teilnehmenden an t2 dAOIs schneller erkennen als vAOIs, was im Einklang mit der holistischen Verarbeitungstheorie von visueller Expertise steht.

Augenbewegungen sagen die Leistung in der Histologie voraus

Die Testergebnisse an t1 konnten anhand der Webcam-Eye-Tracking Daten vorhergesagt werden (siehe Tabelle 2 [Tab. 2]). Dabei konnten etwa 39% der Varianz (R2adj=0.392, p<0.001) durch neun Augenbewegungsvariablen aufgeklärt werden. An t2 wurde das Signifikanzniveau knapp verfehlt (R2adj=0.103, p=0.057), was auf eine geringere Vorhersagekraft des Modells hinweist. Die einzelnen Prädiktoren hatten vergleichbare Regressionskoeffizienten an beiden Messzeitpunkten. Diese Ergebnisse legen nahe, dass Augenbewegungen robuste Prädiktoren der frühen visuellen Expertise sind.


Diskussion

Diese Studie untersuchte den Einsatz von Webcam-Eye-Tracking in einem Online-Histologiekurs.

Wie genau kann Webcam-Eye-Tracking Augenbewegungen erfassen?

Um einige der bestehenden Einschränkungen von Eye-Tracking-Einstellungen im Labor zu überwinden (u.a. teure Hardware, künstliche Laborumgebung, kleine Stichprobengrößen), wurden in den letzten Jahren OpenSource Webcam-basierte Eye-Tracking Methoden entwickelt [44], [45], [50]. Unsere Studie unterstützt die Verwendung dieser Methode und zeigt, dass die Qualität der in einem curricularen Online-Kurs gesammelten Daten zufriedenstellend ist. Die Einrichtung der Testumgebung war bequem und erforderte keine Programmierkenntnisse. Wir konnten die Forschungsumgebung mithilfe der grafischen Benutzeroberfläche aufbauen, ähnlich einem „Drag-and-Drop“-Prinzip. In zukünftigen Studien sollte darauf geachtet werden, dass die zu untersuchenden Bildbereiche (dAOIs oder vAOIs) eine ausreichende Größe haben, um potenzielle Messungenauigkeiten auszugleichen. Aufgrund der begrenzten Datenqualität von Webcam-Eye-Trackern (siehe Abbildung 3 [Abb. 3]) müssen insgesamt strengere Kriterien für die Datenqualität angewendet werden, als für Nahinfrarot Eye-Tracker. Um dies zu erreichen, kamen wir daher zu einer vergleichsweise hohen Ausschlussrate von etwa 30% der Teilnehmenden, was bedeutet, dass eine hohe Anzahl an Probanden für solche Untersuchungen rekrutiert werden müssen. Wir glauben, dass zukünftige Verbesserungen in der Webcam-Technologie die derzeitigen Limitationen in der Datenqualität lösen werden. Wir haben außerdem festgestellt, dass die Studierenden ein starkes Interesse an der Nutzung dieser Technologie haben. Deshalb sehen wir praktische Möglichkeiten, sie im Curriculum einzusetzen.

Wie zuverlässig kann Webcam-Eye-Tracking Unterschiede in der visuellen Expertise erfassen?

Unsere Ergebnisse unterstützen die Hypothese, dass Webcam-Eye-Tracking zeitliche Veränderungen der visuellen Expertise messen kann [4], [26], [37]. Wir konnten zeigen, dass im Verlauf des Online-Histologiekurses die Studierenden:

1.
bessere Testergebnisse erzielten,
2.
kürzere Betrachtungszeiten hatten,
3.
häufiger Fixationen auf diagnostisch relevante Bildbereiche zeigten,
4.
längere Fixationsdauer auf diagnostisch relevante Bildbereiche hatten und
5.
diagnostisch relevante Bildbereiche schneller erkannten.

Gemäß der holistische Verarbeitungstheorie konzentrierten sich die trainierten Studierenden am Ende des Kurses auf relevante Bildbereiche, was auf verbesserte Mustererkennungsfähigkeiten und top-down-Kontrolle hinweist (siehe Abbildung 5 d [Abb. 5]) [38], [51]. Darüber hinaus waren die Studierenden sicherer darin, diagnostisch relevante von irrelevanten Bereichen zu unterscheiden, was gemäß dem Informationsreduktionsmodell als Verbesserung der visuellen Expertise interpretiert werden kann (siehe Abbildung 5 b-c [Abb. 5]) [19]. Die beobachtbaren Verbesserungen erfolgten über den Zeitraum von zehn Kurseinheiten und unterstreichen damit die Bedeutung der frühen Entwicklungsphasen der visuellen Expertise im histopathologischen Training. Soweit uns bekannt ist, ist diese Studie die erste, die die Entwicklung dieser frühen visuellen Expertise im histologischen Training mit einem longitudinalen Studiendesign untersucht. Aufgrund der begrenzten Literatur sind daher weitere Untersuchungen dringend notwendig.

Wie zuverlässig kann Webcam-Eye-Tracking zwischen Performanzen unterscheiden?

Durch die Kombination mehrerer Augenbewegungen konnten unsere linearen Modelle bis zu 39% der Varianz der Testergebnisse vorhersagen. Eine besonders interessante Beobachtung ist, dass die Vorhersagekraft der Augenbewegungen mit zunehmender Trainingsdauer abnahm (siehe Tabelle 2 [Tab. 2]). Daher könnte der Einsatz des Webcam-Eye-Trackings vor allem zu Beginn des Trainings wertvoll sein. Zukünftige Eye-Tracking-Studien können hier ansetzen und das Vorhandensein verschiedener Suchprofile in der Histologie untersuchen, zu welchem Zeitpunkt sie sich entwickeln und wie sie das visuelle Suchverhalten und die Leistung der Studierenden beeinflussen. Um die verschiedenen kognitiven Prozesse während dieser Entwicklung besser zu verstehen, wären weitere Methoden zur Triangulation wünschenswert (z. B. qualitative Denkprotokolle) [40].

Möglichkeiten zur Implementierung

Obwohl noch viele offene Fragen bestehen, lohnt es sich, frühzeitig über Implementierungsmöglichkeiten zu diskutieren. Lehrenden können die Webcam-Eye-Tracking Technologie nutzen, um Einblicke in die unbewussten Wahrnehmungsmechanismen der Lernenden in verschiedenen professionellen Umgebungen wie Histopathologie, Chirurgie und Radiologie zu gewinnen. Zum Beispiel könnte die Webcam Eye-Tracking-Technologie als praktische und kostengünstige Methode zur Evaluation der Effektivität von Lehrplänen eingesetzt werden. Dadurch könnten subjektive Evaluationsdaten leicht mit objektiven Daten ergänzt werden [57]. Der günstige Anschaffungspreis ermöglicht es, die Technologie kursübergreifend einzusetzen. So wäre es möglich, den Lehrenden in Echtzeit-Feedback zur Aufgabenschwierigkeit [7], zur kognitiven Belastung [43], [55] oder zur Aufmerksamkeit der Studierenden im Unterricht [37] zu geben. Diese Informationen könnten helfen, zu bewerten, welche didaktischen Maßnahmen problematisch sein könnten und wann ggf. ein Methodenwechsel angebracht ist. Die Daten könnten auch im Anschluss an die Veranstaltungen ausgewertet werden, zum Beispiel um Vorlesungsfolien zu überarbeiten und besonders schwierige Phasen einer Vorlesung zu identifizieren. Mit ausreichend großen Stichproben könnten wertvolle Rückmeldungen zum Grad der visuellen Expertise sowohl an die Studierenden selbst als auch an die Dozenten gegeben werden [20]. Diese Methode entfaltet ihr volles Potential jedoch in Online-Lernumgebungen, wo Feedback aufgrund technischer Einschränkungen, wie wir es während der Covid-19-Pandemie erlebt haben, schwierig ist [9], [10].

Diese Technologie eröffnet auch neue Möglichkeiten für die Ausbildungsforschung. Die einfache Implementierung ermöglicht die Messung einer größeren Anzahl von Teilnehmenden in relativ kurzer Zeit. So könnten in großen (Online-)Studien kleinere Effektstärken nachgewiesen werden, die zuvor aufgrund kleiner Stichprobengrößen unentdeckt geblieben sind. Auch können so longitudinale Studien leichter durchgeführt werden [16]. Eine weitere Quelle für methodische Triangulation könnte die Verwendung von Scroll- oder Zoom-Daten während der Bildbetrachtung sein, wie bereits erfolgreich von van Montfort et al. [60] und den Boer et al. [11] verwendet. Schließlich ist diese Technologie OpenSource, was es Ländern und Fakultäten mit begrenzten finanziellen Ressourcen ermöglicht, davon zu profitieren.

Limitationen

Es steht außer Frage, dass herkömmliche Eye-Tracker im Labor eine höhere Datenqualität erzielen können, als per Webcam derzeit möglich [50]. Um dieser Einschränkung entgegenzuwirken, haben wir mehr Teilnehmende rekrutiert und strenge Verfahren zur Sicherung der Datenqualität angewendet. Darüber hinaus können wir aufgrund der freiwilligen Teilnahme an der Studie einen Selektionsbias nicht ausschließen. Ebenso ist es möglich, dass Studierende mehrmals an der Studie teilgenommen haben.


Fazit

Diese Studie ist die erste, die den Einsatz von Webcam-Eye-Trackern an einer großen Kohorte von Medizinstudierenden in der Histologie untersucht hat. Diese Technologie ermöglicht die kostengünstige und zuverlässige Messung der visuellen Expertise in der Histologie und eröffnet neue Möglichkeiten zur Untersuchung von Online-Curricula. Webcam-Eye-Tracking besitzt somit ein bislang ungenutztes Potential zur evidenz-basierten Weiterentwicklung der medizinischen Ausbildung.


Förderung

Diese Studie wurde von keinen spezifischen Förderagenturen im öffentlichen, kommerziellen oder gemeinnützigen Bereich finanziell unterstützt. Unsere Arbeit in der Entwicklung digitaler histologischer Lernressourcen wird vom Land Nordrhein-Westfalen im Rahmen des Projekts „OERContent.NRW“ (Projekt „Digital Histo NRW – Digitale Histologie in der Hochschulmedizin, Bio- und Gesundheitswissenschaften in NRW“) gefördert.


Interessenkonflikt

Die Autoren erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.


Literatur

1.
Anderson JR, Bothell D, Douglass S. Eye movements do not reflect retrieval processes: limits of the eye-mind hypothesis. Psychol Sci. 2004;15(4):225-231. DOI: 10.1111/j.0956-7976.2004.00656.x Externer Link
2.
Bánki A, de Eccher M, Falschlehner L, Hoehl S, Markova G. Comparing online webcam- and laboratory-based eye-tracking for the assessment of infants’ audio-visual synchrony perception. Front Psychol. 2022;12:733933. DOI: 10.3389/fpsyg.2021.733933 Externer Link
3.
Bott N, Madero EN, Glenn J, Lange A, Anderson J, Newton D, Brennan A, Buffalo EZ, Rentz D, Zola S. Device-embedded cameras for eye tracking-based cognitive assessment: Validation with paper-pencil and computerized cognitive composites. J Med Internet Res. 2018;20(7):e11143. DOI: 10.2196/11143 Externer Link
4.
Brunyé TT, Drew T, Kerr KF, Shucard H, Weaver DL, Elmore JG. Eye tracking reveals expertise-related differences in the time-course of medical image inspection and diagnosis. J Med Imaging. 2020;7(5):051203.
5.
Brunyé TT, Drew T, Weaver DL, Elmore JG. A review of eye tracking for understanding and improving diagnostic interpretation. Cogn Res Princ Implic. 2019;4(1):7. DOI: 10.1186/s41235-019-0159-2 Externer Link
6.
Brunyé TT, Mercan E, Weaver DL, Elmore JG. Accuracy is in the eyes of the pathologist: The visual interpretive process and diagnostic accuracy with digital whole slide images. J Biomed Inform. 2017;66:171-179. DOI: 10.1016/j.jbi.2017.01.004 Externer Link
7.
Cho Y. Rethinking eye-blink: Assessing task difficulty through physiological representation of spontaneous blinking. In: Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, Yokohama, Japan. 2021.
8.
Cook DA. Much ado about differences: why expert-novice comparisons add little to the validity argument. Adv Health Sci Educ Theory Pract. 2015;20(3):829-834. DOI: 10.1007/s10459-014-9551-3 Externer Link
9.
Darici D, Missler M, Schober A, Masthoff M, Schnittler H, Schmitz M. “Fun slipping into the doctor’s role”–The relationship between sonoanatomy teaching and professional identity formation before and during the Covid-19 pandemic. Anat Sci Educ. 2022;15(3):447-463. DOI: 10.1002/ase.2178 Externer Link
10.
Darici D, Reissner C, Brockhaus J, Missler M. Implementation of a fully digital histology course in the anatomical teaching curriculum during COVID-19 pandemic. Ann Anat. 2021;236:151718. DOI: 10.1016/j.aanat.2021.151718 Externer Link
11.
den Boer L, van der Schaaf MF, Vincken KL, Mol CP, Stuijfzand BG, van der Gjip A. Volumetric image interpretation in radiology: scroll behavior and cognitive processes. Adv Health Sci Educ Theory Pract. 2018;23(4):783-802. DOI: 10.1007/s10459-018-9828-z Externer Link
12.
Drew T, Vo ML, Olwal A, Jacobson F, Seltzer SE, Wolfe JM. Scanners and drillers: Characterizing expert visual search through volumetric images. J Vis. 2013;13(10):3. DOI: 10.1167/13.10.3 Externer Link
13.
Duchowski A. Eye tracking methodology: Theory & practice. London: Springer-Verlag; 2007.
14.
Eder TF, Richter J, Scheiter K, Keutel C, Castner N, Kasneci E. How to support dental students in reading radiographs: effects of a gaze-based compare-and-contrast intervention. Ad Health Sci Educ Theory Pract. 2021;26(1):159-181. DOI: 10.1007/s10459-020-09975-w Externer Link
15.
Fox SE, Faulkner-Jones BE. Eye-tracking in the study of visual expertise: Methodology and approaches in medicine. Front Learn Res. 2017;5(3):29-40. DOI: 10.14786/flr.v5i3.258 Externer Link
16.
Gegenfurtner A, Kok E, van Geel K, de Bruin A, Jarodzka H, Szulewski A, van Merriënboer JJ. The challenges of studying visual expertise in medical image diagnosis. Med Educ. 2017;51(1):97-104. DOI: 10.1111/medu.13205 Externer Link
17.
Gegenfurtner A, Lehtinen E, Säljö R. Expertise differences in the comprehension of visualizations: A meta-analysis of eye-tracking research in professional domains. Educ Psychol Rev. 2011;23:523-552. DOI: 10.1007/s10648-011-9174-7 Externer Link
18.
Gobet F, Charness N. Expertise in chess. In: Ericsson K, Charness´N, Feltovich P, Hoffmann R, editors. Cambridge handbook of expertise and expert performance. New-York: Cambridge University Press; 2018. p.523-538.
19.
Haider H, Frensch PA. The role of information reduction in skill acquisition. Cogn Psychol. 1996;30(3):304-337. DOI: 10.1006/cogp.1996.0009 Externer Link
20.
Hattie J, Timperley H. The power of feedback. Rev Educ Res. 2007;77(1):81-112. DOI: 10.3102/003465430298487 Externer Link
21.
Hauer KE, Boscardin C, Brenner JM, van Schaik SM, Papp KK. Twelve tips for assessing medical knowledge with open-ended questions: Designing constructed response examinations in medical education. Med Teach. 2020;42(8):880-885. DOI: 10.1080/0142159X.2019.1629404 Externer Link
22.
Hay J, Troup E, Clark I, Pietsch J, Zieliński T, Millar A. PyOmeroUpload: A Python toolkit for uploading images and metadata to OMERO. Wellcome Open Res. 2020;5:96. DOI: 10.12688/wellcomeopenres.15853.2 Externer Link
23.
Hirt L, Leonard C, Lee LM. Are you copying me? Leveraging expert visual scan path to transmit visual literacy in novice histology students. FASEB J. 2020;34(S1):1. DOI: 10.1096/fasebj.2020.34.s1.04665 Externer Link
24.
Holmqvist K, Nyström M, Andersson R, Dewhurst R, Jarodzka H, van de Weijer J. Eye tracking: A comprehensive guide to methods and measures. Oxford: University Press; 2011.
25.
Holmqvist K, Örbom S, Hooge I, Niehorster D, Alexander R, Andersson R, Benjamins JS, Blignaut P, Brouwer AM, Chuang LL, Dalrymple KA, Drieghe D, Dunn MJ, Ettinger U, Fiedler S, Foulsham T, van der Geest JN, Hansen DW, Hutton SB, Kasneci E, Kingstone A, Knox PC, Kok EM, Lee H, Lee JY, Leppänen JM, Macknik S, Majaranta P, Martinez-Conde S, Nuthmann A, Nyström M, Orquin JL, Otero-Millan J, Park SY, Popelka S, Proudlock F, Renkewitz F, Roorda A, Schulte-Mecklenbeck M, Sharif B, Shic F, Shovman M, Thomas MG, Venrooij W, Zemblys R, Hessels RS. Eye tracking: empirical foundations for a minimal reporting guideline. Behav Res Methods. 2022;55:364-416. DOI: 10.3758/s13428-021-01762-8 Externer Link
26.
Jaarsma T, Jarodzka H, Nap M, van Merrienboer JJ, Boshuizen HP. Expertise under the microscope: processing histopathological slides. Med Educ. 2014;48(3):292-300. DOI: 10.1111/medu.12385 Externer Link
27.
Jaarsma T, Jarodzka H, Nap M, van Merriënboer JJ, Boshuizen HP. Expertise in clinical pathology: combining the visual and cognitive perspective. Adv Health Sci Educ Theory Pract. 2015;20(4):1089-1106. DOI: 10.1007/s10459-015-9589-x Externer Link
28.
Just MA, Carpenter PA. A theory of reading: From eye fixations to comprehension. Psychol Rev. 1980;87(4):329-354.
29.
Kahl J, Carry P, Lee L. Quantification of pattern recognition skills acquisition in histology using an eye-tracking device: First-step toward evidence-based histology education. FASEB J. 2015;29(S1):689.4. DOI: 10.1096/fasebj.29.1_supplement.689.4 Externer Link
30.
Koh A, Roy D, Gale A, Mihai R, Atwal G, Ellis I, Snead D, Chen Y. Understanding digital pathology performance: an eye tracking study. In: Proc. SPIE 11316. Medical Imaging 2020: Image Perception, Observer Performance, and Technology Assessment. 1131607. 16 March 2020. DOI: 10.1117/12.2550513 Externer Link
31.
Kok E. Eye tracking: the silver bullet of competency assessment in medical image interpretation? Perspect Med Educ. 2019;8(2):63-64. DOI: 10.1007/s40037-019-0506-5 Externer Link
32.
Kok EM, Jarodzka H. Before your very eyes: the value and limitations of eye tracking in medical education. Med Educ. 2017;51(1):114-122. DOI: 10.1111/medu.13066 Externer Link
33.
Kok EM, Jarodzka H, de Bruin AB, Binamir HA, Robben SG, van Merriënboer JJ. Systematic viewing in radiology: seeing more, missing less? Adv Health Sci Educ Theory Pract. 2016;21(1):189-205. DOI: 10.1007/s10459-015-9624-y Externer Link
34.
Krupinski EA, Graham AR, Weinstein RS. Characterizing the development of visual search expertise in pathology residents viewing whole slide images. Hum Pathol. 2013;44(3):357-364. DOI: 10.1016/j.humpath.2012.05.024  Externer Link
35.
Krupinski EA, Tillack AA, Richter L, Henderson JT, Bhattacharyya AK, Scott KM, Graham AR, Descour MR, Davis JR, Weinstein RS. Eye-movement study and human performance using telepathology virtual slides. Implications for medical education and differences with experience. Hum Pathol. 2006;37(12):1543-1556. DOI: 10.1016/j.humpath.2006.08.024 Externer Link
36.
Kundel HL, Nodine CF, Conant EF, Weinstein SP. Holistic component of image perception in mammogram interpretation: gaze-tracking study. Radiology. 2007;242(2):396-402. DOI: 10.1148/radiol.2422051997 Externer Link
37.
Madsen J, Júlio SU, Gucik PJ, Steinberg R, Parra LC. Synchronized eye movements predict test scores in online video education. Proc Natl Acad Sci U S A. 2021;118(5):e2016980118. DOI: 10.1073/pnas.2016980118 Externer Link
38.
McMains S, Kastner S. Interactions of top-down and bottom-up mechanisms in human visual cortex. J Neurosci. 2011;31(2):587-597. DOI: 10.1523/JNEUROSCI.3766-10.2011 Externer Link
39.
Mercan E, Shapiro LG, Brunyé TT, Weaver DL, Elmore JG. Characterizing diagnostic search patterns in digital breast pathology: Scanners and drillers. J Digit Imaging. 2018;31(1):32-41. DOI: 10.1007/s10278-017-9990-5 Externer Link
40.
Oh K, Almarode J, Tai R. An exploration of think-aloud protocols linked with eye-gaze tracking: Are they talking about what they are looking at. Procedia Soc Behav Sci. 2013;93:184-189. DOI: 10.1016/j.sbspro.2013.09.175 Externer Link
41.
Olsen A. The Tobii I-VT fixation filter. Danderyd: Tobii Technology; 2012.
42.
Orquin JL, Holmqvist K. Threats to the validity of eye-movement research in psychology. Behav Res Methods. 2018;50(4):1645-1656. DOI: 10.3758/s13428-017-0998-z Externer Link
43.
Palinko O, Kun AL, Shyrokov A, Heeman P. Estimating cognitive load using remote eye tracking in a driving simulator. In: Proceedings of the 2010 Symposium on Eye-Tracking Research, Austin, Texas. 2010.
44.
Papoutsaki A, Laskey J, Huang J. SearchGazer: Webcam eye tracking for remote studies of web search. In: Proceedings of the 2017 Conference on Conference Human Information Interaction and Retrieval, New York. 2017.
45.
Papoutsaki A, Sangkloy P, Laskey J, Daskalova N, Huang J, Hays J. WebGazer: Scalable webcam eye tracking using user interactions. In: Proceedings of the twenty-fifth international joint conference on artificial intelligence, New York. 2016.
46.
Reingold E, Sheridan H. Eye movements and visual expertise in chess and medicine. In: Liveredge SP, Gilchrist ID, Everling S, editors. Oxford handbook of eye movements. Oxford: Oxford university press; 2011. p.523-550.
47.
Roach VA, Fraser GM, Kryklywy JH, Mitchell DG, Wilson TD. Guiding low spatial ability individuals through visual cueing: The dual importance of where and when to look. Anat Sci Educ. 2019;12(1):32-42. DOI: 10.1002/ase.1783 Externer Link
48.
Rosebrock A. OpenCV Saliency Detection. 2021 Oct 5. Zugänglich unter/available from: https://www.pyimagesearch.com/2018/07/16/opencv-saliency-detection/ Externer Link
49.
Rosicke S, Leonard CJ, Carry P, Lee LM. Does “See one and do one” work in histology? A two-phase cross-over eye tracking study on complex histological pattern recognition skills acquisition. FASEB J. 2019;33(S1):444.33. DOI: 10.1096/fasebj.2019.33.1_supplement.444.33 Externer Link
50.
Semmelmann K, Weigelt S. Online webcam-based eye tracking in cognitive science: A first look. Behav Res Methods. 2018;50(2):451-465. DOI: 10.3758/s13428-017-0913-7 Externer Link
51.
Sheridan H, Reingold EM. The holistic processing account of visual expertise in medical image perception: A review. Front Psychol. 2017;8:1620. DOI: 10.3389/fpsyg.2017.01620 Externer Link
52.
Sibbald M, de Bruin AB, Yu E, van Merriënboer JJ. Why verifying diagnostic decisions with a checklist can help: insights from eye tracking. Adv Health Sci Educ Theory Pract. 2015;20(4):1053-1060. DOI: 10.1007/s10459-015-9585-1 Externer Link
53.
Sqalli MT, Al-Thani D, Elshazly MB, Al-Hijji M, Alahmadi A, Houssaini YS. Understanding cardiology practitioners’ interpretations of electrocardiograms: An eye-tracking study. JMIR Human Factors. 2022;9(1):e34058. DOI: 10.2196/34058 Externer Link
54.
Stine R. An Introduction to Bootstrap methods: Examples and ideas. Sociol Methods Res. 1989;18(2–3):243-291. DOI: 10.1177/0049124189018002003 Externer Link
55.
Szulewski A, Roth N, Howes D. The use of task-evoked pupillary response as an objective measure of cognitive load in novices and trained physicians a new tool for the assessment of expertise. Acad Med. 2015;90(7):981-987. DOI: 10.1097/ACM.0000000000000677 Externer Link
56.
Tatler B, Wade N, Kwan H, Findlay J, Velichkovsky B. Yarbus, eye movements, and vision. Iperception. 2010;1(1):7-27. DOI: 10.1068/i0382 Externer Link
57.
Tempelaar D, Rienties B, Nguyen Q. Subjective data, objective data and the role of bias in predictive modelling: Lessons from a dispositional learning analytics application. PLoS One. 2020;15(6):e0233977. DOI: 10.1371/journal.pone.0233977 Externer Link
58.
Valliappan N, Dai N, Steinberg E, He J, Rogers K, Ramachandran V, Xu P, Shojaeizadeh M, Guo L, Kohlhoff K, Navalpakkam V. Accelerating eye movement research via accurate and affordable smartphone eye tracking. Nature Commun. 2020;11(1):4553. DOI: 10.1038/s41467-020-18360-5 Externer Link
59.
van der Gijp A, Ravesloot CJ, Jarodzka H, van der Schaaf MF, van der Schaaf IC, van Schaik JP, Ten Cate TJ. How visual search relates to visual diagnostic performance: a narrative systematic review of eye-tracking research in radiology. Adv Health Sci Educ Theory Pract. 2017;22(3):765-787. DOI: 10.1007/s10459-016-9698-1 Externer Link
60.
van Montfort D, Kok E, Vincken K, van der Schaaf M, van der Gijp A, Ravesloot C, Rutgers R. Expertise development in volumetric image interpretation of radiology residents: what do longitudinal scroll data reveal? Adv Health Sci Educ Theory Pract. 2021;26(2):437-466. DOI: 10.1007/s10459-020-09995-6 Externer Link
61.
von der Malsburg T, Vasishth S. What is the scanpath signature of syntactic reanalysis? J Mem Lang. 2011;65(2):109-127. DOI: 10.1016/j.jml.2011.02.004 Externer Link
62.
Ziv G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. Int J Aviat Psychol. 2016;26(3-4):75-104. DOI: 10.1080/10508414.2017.1313096 Externer Link