gms | German Medical Science

Fragestellung/Zielsetzung: Der Einsatz von selbstgesteuertem Test-enhanced Learning (TEL) mit Multiple-Choice-Fragen (MCQs) ist eine effiziente Methode, um Medizinstudierenden Wissen zu vermitteln [1]. Insbesondere das nach einer Antwort übermittelte Feedback ist für TEL-Lernende wichtig, um den Wissensstand strukturiert reflektieren zu können [2]. Die Rückmeldungen sind in verschiedenen Formen ausführbar, einschließlich Hinweisen auf die Richtigkeit mit einer erklärenden Lösung (complemented verification - cv), einer Hervorhebung der verschiedenen Optionen (comparative answer orientation - ca) oder einer Fehlererklärung und metakognitiver Strategien zur Problemlösung (conceptual contextualization - cc). Diese Vorstudie exploriert Aspekte, Textgeneratoren in die aufwendige und zeitintensive manuelle Erstellung von Feedbacks zu integrieren.

Methoden: Studierenden der Charité – Universitätsmedizin Berlin wird auf der Online-Plattform TELLme die Möglichkeit angeboten, MCQs aus vergangenen Prüfungen in großer Zahl selbstgesteuert zu nutzen. Aus diesem Pool wurden 60 Fragen verschiedener Komplexität ausgewählt und ChatGPT, einem auf dem long-form question answering (LFQA)-System basierenden ChatBot, einzeln vorgelegt. Der Inhalt einer MCQ inklusive aller Antwortoptionen war als Frage (Q:) sowie die korrekte Auswahl als Antwort (A:) formuliert und wirkte folglich als Vorgabe. Der ChatBot erhielt die auf alle angestrebten Feedbacklängen abgestimmte Anweisung, zu erläutern resp. herzuleiten, warum Antworten richtig oder falsch sind. Der Zeitaufwand dafür betrug wenige Minuten pro Frage. Nachfolgend bewerteten Fachleuten der Fakultät die Texte nach dem Schulnotensystem.

Ergebnisse: Die 60 MCQs erzielten mitunter gut verwertbare Ergebnisse. EIne inhaltliche Richtigkeit bestand in den meisten Fällen (Note 2) mit einer mittleren sprachlichen Klarheit (Note 3). In Bezug auf die Herstellung von Verknüpfungen und die Generierung von Hintergrundinformationen lieferten die kürzeren cv- und ca-Feedbacks relativ gut nutzbare Kommentare (Note 2), die ausführlichere cc-Rückmeldung sehr gute (Note 1). Bei den Letztgenannten ist die Korrektheit der Texte tendenziell schwächer.

Diskussion: Die Ergebnisse der Vorstudie legen nahe, dass ein off-the-shelf ChatBot wie ChatGPT in der Lage ist, spezifische Kommentierungen in sehr guter bis befriedigender Qualität als auch in sehr kurzer Zeit zu erzeugen, wobei auch widersprüchliche Inhalte und/oder absolute Aussagen zu erwarten sind. Weitere Analysen mit integrierten domänenspezifischen Wissenselementen werden als wesentlich betrachtet, um die Feedback-Vorlagenerstellung zu optimieren. Darüber hinaus sind Anwendungsentwicklungen im Bereich des selbstgesteuerten Lernens denkbar, die auf eine Individualisierung der Kommentare sowie die Erzeugung von Übungs- oder Verständnisfragen abzielen.

Take Home Message: Für selbstgesteuertes TEL mit MCQs zeigt hinsichtlich logisch hergeleiteter Kommentare zu Antwortoptionen bereits ein bislang unkonfigurierter, auf GPT (Generative Pretrained Transformer) gestützter ChatBot großes Potenzial.