gms | German Medical Science

Hintergrund und Fragestellung: Die Identifizierung der bestverfügbaren Evidenz für medizinische Fragestellungen ist durch die unüberschaubare Anzahl von Publikationen nicht nur zeitaufwendig, sondern immer auch durch eingeschränkte Sensitivität und Spezifität gekennzeichnet. Derzeit verfügbare Suchmaschinen bieten kaum die Möglichkeit, Qualitätsmerkmale wissenschaftlicher Studien zu berücksichtigen. Das Ziel unseres Projekts ist es eine Applikation zu entwickeln, welche das rasche Auffinden qualitativ hochwertiger Belege für medizinische Fragestellungen bewerkstelligt.

Material/Methoden: Aus Medline werden Publikationen in eine eigene Datenbank importiert und mit Zusatzinformationen aus der Registrierungs-DB der WHO weiter analysiert. Machine Learning Algorithmen trainieren Klassifikatoren, welche charakteristische Begriffe erkennen. So kann jede Publikation einem bestimmten Studientyp zugewiesen und nach den Oxford Levels of Evidence klassifiziert werden. Je nach Studientyp werden mittels computerlinguistischer Verfahren verschiedene Qualitätsmerkmale in Anlehnung an GRADE aus den Abstracts extrahiert sowie zusätzliche strukturierte (Meta)Informationen (z.B. Journal Impact) verwendet, um einen „Qualityscore“ der Publikation zu bestimmen. Die Benutzer können ein Feedback über die Qualität der Publikation sowie über die Relevanz zur Suchanfrage geben, welche in weiterer Folge in die Verbesserung der Qualitäts- und Relevanzberechnung einfließt.

Ergebnisse: Mit den erzielten Klassifikatoren ist es u.a. möglich, RCTs mit 0,93, die unterschiedlichen Studientypen mit bis zu 0,96 AUC vorherzusagen. Damit lassen sich, ohne Verlust von Sensitivität, bei der Recherche sehr spezifisch studienart-typische Qualitätsmerkmale zu berücksichtigen.

Das entstandene Produkt ist ein Informationssystem für die automatisierte Beantwortung medizinischer Fragestellungen. Es wurde eine Webapplikation erstellt, die eine Eingabe einer Suchanfrage sowie verschiedene Filterkriterien ermöglicht. Als Ergebnis wird eine Publikationsliste erstellt, welche die Einträge nach Qualität und Relevanz reiht.

Schlussfolgerung: Die vielversprechende Klassifikation der Publikationen ist die Grundlage für eine gute Bewertungsoption der Studien und erlaubt eine automatisierte hochspezifische Suche ohne Sensitivitätsverlust gegenüber der herkömmlichen Identifizierung relevanter Studien durch Reviewer. Auch die Extraktion wichtiger Daten für die Qualitätsbewertung kann bei der Suche nach qualitativ hochwertigen Studien hilfreich sein und soll in der Zukunft weiter ausgebaut werden.