gms | German Medical Science

Zielsetzung: Die Adaption der sog. „Medical Artificial Intelligence Readiness Scale for Medical Students“ (MAIRS-MS, [1]) zur Prüfung der Steigerung der „AI Readiness“ von Teilnehmenden eines Blended-Learning-Kurses zum Einsatz künstlicher Intelligenz (KI, engl.: AI) in der medizinischen Bildgebung, welcher im Wintersemester 2021/22 an der medizinischen Fakultät der Universität Bonn eingeführt und evaluiert wurde.

Methoden:

Fragebogenanpassung: Nachdem der Originalfragebogen aus dem Englischen ins Deutsche übersetzt wurde, wurden alle 22 Items in eine „then-Version“ (Selbsteinschätzung der AI Readiness vor Besuch des KI-Lehrangebots) und eine „post-Version“ (nach Besuch des KI-Lehrangebots) umgewandelt.

Analyse: Es wurden t-Tests zur Feststellung der statistischen Signifikanz der then-/post-Unterschiede (gepaarte Tests) und zur Analyse möglicher Gruppenunterschiede (unabhängige Tests) gerechnet. Die Lernerfolgsmessung mittels CSA Gain bezieht den initialen Wissensstand der Studierenden ein [2] und ermöglicht so eine valide Abschätzung der tatsächlichen Steigerung der AI Readiness durch den Kurs. Zur Evaluation der psychometrischen Qualität des Messinstruments wurden die vier Faktoren („AI-cognition“, „-ability“, „-vision“ und „-ethics“) korreliert und Cronbachs Alpha als Testreliabilitätsmaß berechnet.

Ergebnisse: Die Adaption des MAIRS-MS-Instruments ermöglichte eine Analyse der durch den Besuch des Kurses veränderten AI Readiness. Der Unterschied zwischen der post- und then-Messung, festgestellt durch gepaarte t-Tests, war bei allen Faktoren statistisch signifikant (p<.000) Durch die Berechnung des CSA Gain konnte bei allen Items eine AI Readiness-Steigerung festgestellt werden (CSA Gain gemittelt über alle Items: 55,6%). Die Analyse von Gruppenunterschieden ergab bei einzelnen Faktoren einen statistisch signifikanten Unterschied zwischen männlichen und weiblichen Teilnehmenden, welcher aber wegen der geringen Anzahl männlicher Teilnehmer (n=3) nur bedingt interpretationsfähig ist. Insbesondere der Faktor „Cognition“ korrelierte hoch mit der allgemeinen Bewertung des Kurses (r=-.44, p=.031) und der Angabe über die Wahrscheinlichkeit einer Weiterempfehlung des Kurses an Kommiliton*innen (r=.52, p=.009). Die Interkorrelation der Faktoren lag zwischen r=.60, p=.002 (Cognition x Vision) und r=.84, p<.000 (Cognition x Ability). Cronbachs Alpha betrug .80 (post-Items) bzw. .81 (then-Items).

Diskussion: Während sich der Originalfragebogen auf die Erfassung des Ist-Zustands der AI Readiness beschränkte, konnte gezeigt werden, dass der angepasste MAIRS-MS-Fragebogen als Instrument zur Bestimmung der Steigerung von AI Readiness und KI-Kompetenzen im Rahmen von KI-Kursen im Humanmedizinstudium genutzt werden kann. Die Berechnung des CSA Gain erlaubt dabei eine bessere Bewertung der tatsächlichen AI Readiness Steigerung, als es nur auf Grundlage deskriptiver Statistiken oder durch Mittelwertvergleiche (z.B. t-Tests) möglich wäre.