gms | German Medical Science

23. Jahrestagung des Deutschen Netzwerks Evidenzbasierte Medizin e. V.

Deutsches Netzwerk Evidenzbasierte Medizin e. V.

01. - 03.09.2022, Lübeck

Umgang mit problematischen Studien in Evidenzsynthesen: ein Tool zur Bewertung der Forschungsintegrität von randomisiert kontrollierten Studien

Meeting Abstract

  • Stephanie Weibel - Universitätsklinikum Würzburg, Klinik und Poliklinik für Anästhesiologie, Intensivmedizin, Notfallmedizin und Schmerztherapie, Würzburg, Deutschland
  • Maria Popp - Universitätsklinikum Würzburg, Klinik und Poliklinik für Anästhesiologie, Intensivmedizin, Notfallmedizin und Schmerztherapie, Würzburg, Deutschland
  • Stefanie Reis - Universitätsklinikum Würzburg, Klinik und Poliklinik für Anästhesiologie, Intensivmedizin, Notfallmedizin und Schmerztherapie, Würzburg, Deutschland
  • Nicole Skoetz - Medizinische Fakultät und Uniklinik Köln, Klinik I für Innere Medizin, Evidence-Based Oncology, Köln, Deutschland
  • Paul Garner - Liverpool School of Tropical Medicine, Centre for Evidence Synthesis in Global Health, Liverpool, Großbritannien
  • Emma Sydenham - London School of Hygiene & Tropical Medicine, Cochrane Injuries Group, London, Großbritannien

Evidenzbasierte Medizin für eine bedarfsgerechte Gesundheitsversorgung. 23. Jahrestagung des Deutschen Netzwerks Evidenzbasierte Medizin. Lübeck, 01.-03.09.2022. Düsseldorf: German Medical Science GMS Publishing House; 2022. Doc22ebmVS-9-05

doi: 10.3205/22ebm056, urn:nbn:de:0183-22ebm0563

Published: August 30, 2022

© 2022 Weibel et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Hintergrund/Fragestellung: Die Vertrauenswürdigkeit von Evidenzsynthesen beruht auf der Annahme, dass die Studien und die Ergebnisse, auf denen sie beruhen, der guten klinischen Praxis folgen und nicht gefälscht oder fehlerhaft sind. Problematische Studien im Hinblick auf die Grundsätze der Forschungsintegrität können Evidenzsynthesen verzerren. Autoren von Evidenzsynthesen brauchen transparente Methoden zur Identifizierung und zum Umgang mit problematischen Studien im Rahmen von systematischen Reviews. Cochrane hat Leitlinien veröffentlicht, die eine Überprüfung der Forschungsintegrität von Studien in systematischen Reviews thematisieren [1], [2]. Diese sind bisher nicht routinemäßige Bestandteile von Evidenzsynthese- oder Leitlinienentwicklungsprozessen.

Methoden: Im Rahmen des Cochrane COVID-19 Reviews zu Ivermectin [3] identifizierten wir viele problematische Studien im Hinblick auf Forschungsintegrität und Einhaltung gesetzlicher Vorschriften. Durch iterative Diskussion und Pilotierung haben wir ein Tool zur Bewertung der Forschungsintegrität (Research Integrity Assessment, RIA) von randomisiert kontrollierten Studien (RCTs) entwickelt, das Aspekte zu Vorschriften für klinische Studien sowie Berichterstattung von Methodik und Ergebnissen adressiert. Das RIA-Tool wurde bei der Aktualisierung des Cochrane Ivermectin Reviews angewandt.

Ergebnisse: Das RIA-Tool bewertet sechs Kriterien von Studien; Rückzug der Studienpublikation, prospektive Studienregistrierung, Ethik und schriftliche Einverständniserklärung, plausible Autorenschaft, suffiziente Berichterstattung der Methodik (z. B. Randomisierung) und Plausibilität der Studienergebnisse. Die Anwendung von RIA im Cochrane-Ivermectin-Review wurde als Teil der Eligibilitätsprüfung im Rahmen des Screenings potenziell einschlussfähiger Studien durchgeführt. Problematische Studien wurden ausgeschlossen und Studien mit Unklarheiten wurden bis zur Klärung in die Kategorie „ausstehende Klassifizierung“ eingeordnet. RIA-Entscheidungen wurden unabhängig von zwei Reviewern getroffen und transparent berichtet. RIA führte zum Ausschluss von >50% der Studien in der ersten Aktualisierung des Reviews.

Schlussfolgerung: RIA ist besonders geeignet für COVID-19 Evidenzsynthesen, die RCTs zu Medikamenten untersuchen. Weitere Anwendungsszenarien müssen evaluiert werden. Dieses Tool bietet eine Plattform für die dringende Weiterentwicklung eines Standardansatzes zu Identifizierung und Umgang mit problematischen Studien in Evidenzsynthesen.

Interessenkonflikte: Die Autoren haben keine Interessenskonflikte im Zusammenhang mit diesem Projekt. Der Cochrane Review wurde durch das Bundesministerium für Bildung und Forschung, Deutschland, NaFoUniMedCovid19 (Förderkennzeichen: 01KX2021), Teil des Projekts „CEOsys“ gefördert (Förderung endete am 31.12.2021). SW erhielt ein Stipendium für die Aktualisierung des Cochrane-Ivermectin-Reviews vom National Center for Complementary and Integrative Health (NCCIH), USA (Grant Number R24 AT001293; Cochrane Complementary Medicine Field 2021). Die Geldgeber spielten keine Rolle bei der Prüfung des Studiendesigns oder bei der Erhebung, Analyse, Interpretation der Daten, dem Verfassen des Berichts oder der Entscheidung, den Artikel/Abstract zur Veröffentlichung einzureichen.


Literatur

1.
Cochrane. Cochrane policy for managing potentially problematic studies. London: Cochrane; 2021. Available from: https://www.cochranelibrary.com/cdsr/editorial-policies#problematic-studies External link
2.
Cochrane. Cochrane policy for managing potentially problematic studies: implementation guidance. London: Cochrane; 2021. Available from: https://documentation.cochrane.org/display/EPPR/Policy+for+managing+potentially+problematic+studies%3A+implementation+guidance External link
3.
Popp M, Stegemann M, Metzendorf MI, Gould S, Kranke P, Meybohm P, Skoetz N, Weibel S. Ivermectin for preventing and treating COVID-19. Cochrane Database Syst Rev. 2021 Jul 28;7(7):CD015017. Update in: Cochrane Database Syst Rev. 2022 Jun 21;6:CD015017. DOI: 10.1002/14651858.CD015017.pub2 External link