Artikel
Das Cochrane COVID-19 Studienregister – eine studienbasierte, strukturierte Datenbank zur effizienten Identifizierung wissenschaftlicher Evidenz
The Cochrane COVID-19 Study Register – a study-based, structured database for the efficient identification of scientific evidence
Suche in Medline nach
Autoren
Veröffentlicht: | 16. September 2021 |
---|
Gliederung
Zusammenfassung
Während einer Pandemie sollten Kliniker:innen und Wissenschaftler:innen möglichst effizient die erscheinende wissenschaftliche Evidenz identifizieren können. Hierfür ist ein studienbasiertes Register essentiell. Es sollte hochaktuell sein, wichtige Primärdatenbanken auswerten und die Auffindbarkeit von Studien durch eine Klassifizierung nach Studiencharakteristika erhöhen. Anfang 2020 entstand aufgrund der sprunghaften Zunahme von Publikationen zur SARS-CoV-2/COVID-19-Pandemie ein dringender Bedarf nach einer strukturierten Datenbank, um schnell evidenzbasierte Handlungsempfehlungen erarbeiten zu können. Dieser Kurzbeitrag stellt das Cochrane COVID-19 Studienregister vor, das im April 2020 von Cochrane entwickelt und während der letzten 14 Monate kontinuierlich weiterentwickelt wurde.
Abstract
During a pandemic, clinicians and scientists should be able to identify the emerging scientific evidence as efficiently as possible. A study-based register is essential for this. It should be up to date, evaluate important primary databases and increase the findability of studies by classifying them according to study characteristics. In early 2020, the surge in publications on the SARS-CoV-2/COVID-19 pandemic created an urgent need for a structured database to support the rapid development of evidence-based recommendations. This short article introduces the Cochrane COVID-19 trial registry, which was developed by Cochrane in April 2020 and has been continuously refined over the past 14 months.
Notwendigkeit für studienbasiertes Register in einer Pandemie
Anfang 2020 entstand aufgrund der sprunghaften Zunahme von Publikationen im Zusammenhang mit der SARS-CoV-2/COVID-19-Pandemie ein dringender Bedarf für ein aktuelles, strukturiertes Studienregister, das Gesundheitsforscher:innen weltweit beim Monitoring und Identifizieren von relevanten Studien unterstützt. Im März 2020 begann Cochrane mit der Entwicklung des Cochrane COVID-19 Study Register (CCSR), das unter einem frei zugänglichen Suchportal (https://covid-19.cochrane.org/) Originalstudien zu SARS-CoV-2/COVID-19 verfügbar macht. Am 1. April 2020 startete das CCSR mit 868 Referenzen [1]. Seither werden täglich neue Referenzen für das Register identifiziert, annotiert und veröffentlicht. Mit Stand 30. Juli 2021 sind ca. 73.000 Studien enthalten, davon sind etwa 6.200 Studien als interventionell klassifiziert.
Ziel des CCSR ist die Unterstützung von schnellen und lebenden Evidenzsynthesen (Rapid Reviews, Living Reviews). So wurde das Register zur Unterstützung eines neu geschaffenen Evidenz-Ökosystems für die COVID-19-Forschung (CEOsys) herangezogen und in dessen Rahmen weiterentwickelt. CEOsys (https://covid-evidenz.de/), ein Zusammenschluss von 20 deutschen Universitätskliniken und weiteren außeruniversitären Partnerorganisationen, sammelt die Ergebnisse aus wissenschaftlichen Studien und fasst sie in lebenden Evidenzsynthesen und daraus abgeleiteten Handlungsempfehlungen (z.B. in Form von Pocket Cards, Evidenzprofilen und Leitlinien) zusammen, um die klinische und öffentliche Gesundheitspraxis zu informieren [2]. Das Register dient seit Mitte 2020 als Datenbasis zur Erstellung zahlreicher Cochrane Reviews zu COVID-19 sowie weiterer Evidenzsynthesen, die außerhalb von Cochrane produziert werden.
Produktionsprozess des Cochrane COVID-19 Studienregisters (CCSR)
Für das Studienregister werden täglich PubMed, ClinicalTrials.gov sowie wöchentlich WHO ICTRP, Embase, medRxiv-Preprints und Retraction Watch, sowie monatlich Cochrane CENTRAL nach Primärstudien an Menschen ausgewertet, auf Relevanz geprüft und anhand medizinischer Klassifikationssysteme charakterisiert. Hierzu wird das Cochrane Linked Data Vocabulary genutzt, eine Terminologie, die wiederum auf einer PICO-Ontologie aufbaut, die verschiedene medizinische Klassifikationssysteme integriert. Dazu gehören MeSH (Medical Subject Headings), SNOMED-CT (Systematized Nomenclature of Medicine Clinical Terms), MedDRA (Medical Dictionary for Regulatory Activities), RxNorm (Vokabular für verschreibungspflichtige Medikamente der U.S. National Library of Medicine) und ATC (Anatomisch-therapeutisch-chemische Klassifikationssystem) [3].
Für jede Datenbank, die als Primärquelle des Registers dient, wurden dezidierte Suchstrategien entwickelt, die auf maximale Sensitivität ausgelegt sind. Die Strategien werden regelmäßig aktualisiert, um Änderungen an den Einschlusskriterien des COVID-19-Studienregisters, den Datenbankschnittstellen und laufenden Evaluierungen der Suchperformanz des Registers zu berücksichtigen.
Im Januar 2021 wurde ein Klassifikator für maschinelles Lernen zur Unterstützung beim Screenen der Suchergebnisse eingeführt. Der Klassifikator wurde anhand dreier unabhängiger Datensets aus dem CCSR entwickelt, kalibriert und validiert. Im derzeitigen Arbeitsablauf werden die in PubMed und Embase identifizierten Datensätze durch den Klassifikator geleitet. Diejenigen, die einen Wert unterhalb des kalibrierten Schwellenwerts erhalten, werden als nicht geeignet gekennzeichnet. Die verbleibenden Datensätze werden zum manuellen Screening an die Cochrane Informationsspezialist:innen weitergeleitet.
Das Cochrane COVID-19 Studienregister (CCSR) ist studienbasiert. Dies bedeutet, dass unterschiedliche Referenzen derselben Studie (z.B. Pressemitteilungen, Studienregistereinträge, Preprints, Journal-Preproofs, Journal-Artikel, Retraction Notices und Expressions of Concern) mit einem einzigen Studieneintrag verknüpft sind. Studienbasierte Register erhöhen die Effizienz bei der Erstellung von Reviews, da sie unterschiedliche Publikationen gruppieren, die eine Studie beschreiben, und somit Information anreichern [4], [5].
Das Studienregister wird im Cochrane Register of Studies (CRS), einem Records Management System und Datenrepositorium, aufgebaut und wird hauptsächlich von den Informationsspezialist:innen des Centralised Search Team von Cochrane manuell gepflegt. Das Team prüft die Datenqualität, sichtet die Ergebnisse, beurteilt diese nach Relevanz und verlinkt zugehörige Publikationen einer Studie. Außerdem werden alle erfassten Referenzen nach verschiedenen Kriterien charakterisiert: Publikationstyp (z.B. Zeitschriftenartikel, Preprint, Studienregistereintrag), Verfügbarkeit von Ergebnissen und Studiencharakteristika (Studientyp, -ziel, -design und Interventionszuweisung).
Im Laufe von 2020 hat eine automatisierte Suche zunehmend die manuelle Suche ersetzt. So werden die anhand der Suchstrategien identifizierten Referenzen zunächst zur Bewertung und Klassifizierung in das CRS mit dezidierten Filtern pro Primärquelle importiert, durchlaufen dann den oben beschriebenen Prozess und werden anschließend im CCSR publiziert. Ein ergänzender Prozess der Bewertung und Klassifizierung von Referenzen im CRS wird von Mitwirkenden an „COVID Quest“ durchgeführt, einer Citizen-Science-Aufgabe, die auf Cochrane Crowd (http://crowd.cochrane.org/) gehostet wird [6]. Cochrane Crowd-Mitwirkende sind Freiwillige, die dabei helfen, Referenzen auf Relevanz zu bewerten und Studienklassifizierungen vorzunehmen. Der Produktionsprozess des CCSR ist in Abbildung 1 [Abb. 1] dargestellt.
Weiterentwicklung des Registers
Im Rahmen eines Arbeitspakets des vom BMBF-geförderten Projekts CEOsys wurde das CCSR weiterentwickelt. Während der Projektlaufzeit erfolgte eine Erweiterung der Datenbasis um die Datenbank Embase. Voraussetzung hierzu war der Abschluss eines Lizenzvertrags mit dem Hersteller Elsevier. Außerdem erfolgten zwei Evaluierungen, die als separate Publikationen erschienen sind. Zum einen wurde evaluiert, ob die deutschsprachige Datenbank CC MED, die über LIVIVO verfügbar ist und von ZB MED erstellt wird, für das Register relevant ist. Hier hat sich gezeigt, dass CC MED keine notwendige Ressource für die Erweiterung der Datenbasis des Studienregisters darstellt [7]. Zum anderen wurde die Vollständigkeit, Präzision und Aktualität des Studienregisters anhand einer Stichprobe von 286 Studien geprüft. Es konnte gezeigt werden, dass das CCSR bei allen drei Kriterien gut abschneidet. Lediglich Preprints, die sich während der Pandemie als neuer, schnell wachsender Publikationstyp etablierten, stellten eine beständige Herausforderung dar [8]. Pilotiert wurden desweiteren die Teilautomatisierung der Kuratierungsprozesse (mittels Crowdsourcing in der oben erwähnten COVID Quest Aufgabe), die mittlerweile implementiert wurde, sowie die Charakterisierung der interventionellen Studien nach dem PICO-Schema.
Fazit
Übergeordnetes Ziel des Studienregisters ist die Vermeidung komplexer Literaturrecherchen in mehreren Datenbanken und die aufwendige Sichtung von Treffern. Das unter https://covid-19.cochrane.org/ frei zugängliche Register trägt zur Effizienzsteigerung bei der Identifizierung relevanter Forschung bei und ist eine der weltweit vollständigsten Ressourcen zu SARS-CoV-2/COVID-19. Durch seine Studienbasierung ermöglicht es einen schnellen Überblick über alle verfügbaren Informationen einer Studie (sofern sie in den ausgewerteten Primärquellen enthalten sind). Für Review-Ersteller:innen ergibt sich somit ein Zusatznutzen durch die Gruppierung und den Zugriff auf zusätzliche Referenzen von Studien. Details zur Produktion und den Suchfunktionalitäten des Registers finden sich auf der Webseite des Registers unter „About“ und „Help“.
Für den Prozess der Erstellung von Evidenzsynthesen innerhalb von CEOsys hat sich das CCSR als zeitsparende Ressource erwiesen, die einen schnellen Überblick über die verfügbare Evidenz bietet. Zukünftige Forschung ist notwendig, um die Zeitersparnis durch die Verwendung von durch Informationsspezialist:innen gepflegten studienbasierten Registern empirisch abzuschätzen. Darüber hinaus wäre ein Vergleich des CCSR mit anderen Datenbanken, die COVID-19-bezogene Literatur aus verschiedenen Primärquellen zusammenstellen, von weiterem Interesse.
Anmerkung
Interessenkonflikte
Die Autorin ist an der Erstellung des Cochrane COVID-19 Studienregisters beteiligt und wurde im Rahmen des CEOsys-Projekts des Netzwerk Universitätsmedizin vom Bundesministerium für Bildung und Forschung (BMBF) gefördert (01KX2021).
Literatur
- 1.
- Featherstone R, Last A, Becker L, Mavergames C. Rapid development of the Cochrane COVID-19 Study Register to support review production. In: Collaborating in response to COVID-19: editorial and methods initiatives across Cochrane. Cochrane Database Sys Rev. 2020;12(Suppl 1):37-40. DOI: 10.1002/14651858.CD202002
- 2.
- Meerpohl JJ, Voigt-Radloff S, Rueschemeyer G, Balzer F, Benstoem C, Binder H, et al. CEOsys: creating an ecosystem for COVID-19 evidence. (In: Collaborating in response to COVID-19: editorial and methods initiatives across Cochrane). Cochrane Database Sys Rev. 2020;12(Suppl 1):9-11. DOI: 10.1002/14651858.CD202002
- 3.
- The Cochrane Linked Data Vocabulary. v1.0.59. London: Cochrane; 2020 [zitiert am 24. Mai 2021]. Verfügbar unter: https://data.cochrane.org/concepts/
- 4.
- Noel-Storr A, Hall S. Nimble data in ALOIS, a study based register: a cross-sectional analysis of dementia trials [Abstract]. In: Filtering the information overload for better decisions. 23rd Cochrane Colloquium; 2015 Oct 3-7; Vienna, Austria. John Wiley & Sons; 2015. Verfügbar unter: https://abstracts.cochrane.org/2015-vienna/nimble-data-alois-study-based-register-cross-sectional-analysis-dementia-trials
- 5.
- Shokraneh F, Adams CE. Study-based registers reduce waste in systematic reviewing: discussion and case report. Syst Rev. 2019;8(1):129. DOI: 10.1186/s13643-019-1035-3
- 6.
- Noel-Storr A, Dooley G, Elliott J, Steele E, Shemilt I, Mavergames C, Wisniewski S, McDonald S, Murano M, Glanville J, Foxlee R, Beecher D, Ware J, Thomas J. An evaluation of Cochrane Crowd found that crowdsourcing produced accurate results in identifying randomized trials. J Clin Epidemiol. 2021 May;133:130-9. DOI: 10.1016/j.jclinepi.2021.01.006
- 7.
- Hildebrandt J, Jakob T, Metzendorf MI. Evaluierung der deutschen Datenbank Current Contents Medizin (CC MED) als potenzielle Datenquelle für das Cochrane COVID-19 Studienregister. Manuskript. GMS Med Inform Biom Epidemiol. 2021;17(3):Doc12. DOI: 10.3205/mibe000226
- 8.
- Metzendorf MI, Featherstone RM. Evaluation of the comprehensiveness, accuracy and currency of the Cochrane COVID-19 Study Register for supporting rapid evidence synthesis production. Res Synth Methods. 2021 Jun 5. DOI: 10.1002/jrsm.1501