gms | German Medical Science

23. Deutscher Kongress für Versorgungsforschung

Deutsches Netzwerk Versorgungsforschung e. V.

24.09. - 27.09.2024, Potsdam

Einsatz künstlicher Intelligenz in der qualitativen Inhaltsanalyse – ein Praxisbeispiel zu Möglichkeiten und Grenzen

Meeting Abstract

  • Christian Kempny - Universität Witten/Herdecke, Lehrstuhl für Versorgungsforschung, Witten, Deutschland
  • Kübra Annac - Universität Witten/Herdecke, Lehrstuhl für Versorgungsforschung, Witten, Deutschland
  • Yüce Yılmaz-Aslan - Universität Witten/Herdecke, Lehrstuhl für Versorgungsforschung, Witten, Deutschland
  • Patrick Brzoska - Universität Witten/Herdecke, Lehrstuhl für Versorgungsforschung, Witten, Deutschland

23. Deutscher Kongress für Versorgungsforschung (DKVF). Potsdam, 25.-27.09.2024. Düsseldorf: German Medical Science GMS Publishing House; 2024. Doc24dkvf299

doi: 10.3205/24dkvf299, urn:nbn:de:0183-24dkvf2992

Veröffentlicht: 10. September 2024

© 2024 Kempny et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Gliederung

Text

Hintergrund: Auf künstlicher Intelligenz basierende große Sprachmodelle wie ChatGPT halten Einzug in viele Bereiche der Forschung. Auch in der qualitativen Forschung könnten sie eine wichtige Rolle spielen. Hierbei stellt sich u. a. die Frage, inwiefern Sprachmodelle bei der qualitativen Inhaltsanalyse, u.a. die Codierung und Aufbereitung der qualitativen Auswertung betreffend, unterstützen können.

Zielsetzung: Im Rahmen des Beitrags wird anhand zweier empirischer Beispiele ermittelt, inwiefern sich von unterschiedlichen Sprachmodellen und von Forschenden durchgeführte Codierungen qualitativen Materials voneinander unterscheiden.

Methode: Zwei MAXQDA-Beispieltranskripte aus den MAXQDA-Beispielprojekten „Klimawandel“ und „Work-Life-Balance“ wurde auf Deutsch und auf Türkisch von qualitativ Forschenden der Versorgungsforschung, von ChatGPT 4, ChatGPT 3.5 und dem AI-Assist innerhalb von MAXQDA unabhängig voneinander codiert und aufbereitet und mit dem Auswertungsbeispiel auf inhaltlicher und formaler Ebene verglichen.

Ergebnisse: Es lassen sich nur unwesentliche Unterschiede zwischen den Beispielprojekten und den Forschenden, Chat-GPT und AI-Assist in Bezug auf die inhaltliche Codierung feststellen. Diese beziehen sich lediglich auf die Detailtiefe und die Aufbereitung der Analyse. Verglichen mit der Lehrbuchvorlage generierte ChatGPT 4 lange und umfassende Analysen, ChatGPT 3.5 kürzere, aber mit ChatGPT 4 vergleichbare Ausgaben, während die Auswertung der AI-Assist-Funktion innerhalb von MAXQDA sehr kurz und wenig aussagekräftig ausfiel. Den Forschenden war es nicht möglich, zu identifizieren, welche Codierung und Aufbereitung aus der Lehrbuchvorlage und welche KI-generiert waren.

Implikation für Forschung und/oder (Versorgungs-)Praxis: Sprachmodelle wie ChatGPT können Teile der qualitativen Inhaltsanalyse unterstützen. Codierungen und Aufbereitung von KI-Sprachmodellen unterscheiden sich kaum von erfahrenen Forschenden und Lehrbuchvorlagen. Sprachmodelle könnte Forschende bei der Ideenentwicklung, Synthese von Ergebnissen und Qualitätssicherung unterstützen. Dabei sind neben der stetigen Reflexion auch Themen des Datenschutzes zu beachten.