gms | German Medical Science

Einleitung: In einem patientenzentrierten Gesundheitswesen erhalten Erfahrungen von Patienten zunehmend Gewicht. Neben Patientenbefragungen durch Krankenhäusern oder Krankenkassen, Patient Reported Outcomes (PROMs) zur Erhebung der Ergebnisse von Behandlungen und Beschwerden von Patienten äußern sich Patienten immer häufiger auch in den sozialen Medien zu ihren Erfahrungen, indem sie beispielsweise Krankenhäusern bewerten [1]. Solche Erfahrungen von Patienten können für die Qualitätssicherung und das Qualitätsmanagement von Krankenhäusern verwendet werden [2]. Die dort vorhanden unstrukturierte Texte stellen für die systematische Analyse allerdings eine Herausforderung dar [3]. Ziel unserer Studie war, drei Verfahren des Textminings unter Verwendung einer Software für die qualitative und quantitative Inhaltsanalyse auf ihre Eignung zur Kategorisierung von Patientenkommentaren zu prüfen.

Methoden: 1156 Patientenberichte zum Klinikaufenthalt beim Einsatz eines künstlichen Hüftgelenks wurden von der Website klinikbewertungen.de extrahiert. 180 davon wurden mit einer qualitativen Inhaltanalyse (QI) mit deduktiver und induktiver Kategorienbildung zur Strukturierung der Freitexte schrittweise bis zur Sättigung analysiert. Alle 1156 Berichte wurden mit drei Verfahren des Textminings unter Verwendung von nVivo 11plus (QSR) analysiert: a) Unsupervised Learning (Themenerkennung durch Co-Occurence-Analyse), b) Supervised Learning (Themenerkennung nach Training mit 180 durch QI kategorisierten Berichten) c) Unsupervised Learning ergänzt durch Stemming (Einbeziehung des Wortstamms) und Synonymsuche (Einbeziehung weiterer auf das Thema hinweisende Begriffe). Recall (Sensitivität), Precision (Spezifität) und Accuracy (F1) der drei Textmining-Verfahren (a-c) wurde im Vergleich zum Goldstandard qualitative Inhaltanalyse (QI) bestimmt.

Ergebnisse: Die QI der 180 Erfahrungsberichte ergab 6 Hauptkategorien (Medizinische Behandlung, Medizinische Beratung, Personal, Verwaltung und Abläufe, Ausstattung und Gestaltung, Kritik und Lob,) und 101 Unterkategorien mit 946 Textstellen. Das themenorientierte Textmining (a) aller 1156 Patientenberichte ergab 9 Hauptkategorien (Behandlung, Betreuung, Versorgung, Essen, Zimmer, Ärzte, Personal, Schwestern, Team, Schmerzen) und 968 Textstellen. Der Vergleich der qualitative Inhaltsanalyse als Goldstandard mit dem themenorientierten Textmining ergab überschneidende Kategorien, von denen drei (1. Ärzte, 2. Schmerzen und 3. Essen) zur Analyse verwendet wurden. Ergebnisse a) Unsupervised Learning für die drei Themen: F1 (0,30; 0,20; 0,17), Recall (0,18; 0,11; 0,09), Precision (0,95, 1,00, 1,00). b) Supervised Learning: F1 (0,22; 0,48: 0,28), Recall (0,14; 0,37; 0,16), Precision (0,05; 0,67; 0,98). c) Unsupervised Learning ergänzt durch Stemming und Synonymsuche: F1 (0,92; 0,74; 0,89), Recall (0,86; 0,59; 0,81), Precision (0,99; 1,00; 0,98).

Diskussion: Ergebnisdiskussion: Die drei Verfahren des Textminings unterschieden sich bezüglich ihrer Eignung zur Kategorisierung von Patientenkommentaren erheblich. Das a) „Unsupervised Learning“ hatte den niedrigsten durchschnittlichen F1 Wert (0,22) und den niedrigsten Recall (0,13). Das b) „Supervised Learning“ ergab demgegenüber etwas bessere F1 (0,32) und Recall (0,22) Werte, allerdings auch Einbußen bei der Precision (0,72). Das c) „Unsupervised Learning ergänzt“ brachte mit großem Abstand die besten Ergebnisse für F1 (0,85) und Recall (0,75) bei sehr guter Precision (0,99). Limitation: Nur drei Kategorien wurden in die Analyse eingeschlossen. Fazit: Die Identifikation von Themen in Patientenberichten mit nVivo 11plus mit dem Verfahren des Unsupervised Learnings ergänzt durch Stemming und Synonymsuche hat das Potenzial, für die quantitative Inhaltsanalyse von Patientenberichten nutzbar zu sein. Das Textmining von Patient-Reported Information gute Ansätze, um Erfahrungen von Patienten für die Qualitätssicherung und das Qualitätsmanagement effizient nutzbar zu machen.

Die Autoren geben an, dass kein Interessenkonflikt besteht.

Die Autoren geben an, dass kein Ethikvotum erforderlich ist.