gms | German Medical Science

62. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

17.09. - 21.09.2017, Oldenburg

Die bezaubernde Zitationskarriere eines Kommentars zur Newcastle Ottawa Scale…. oder Metaanalysten lesen ihre Literatur nicht, die sie zitieren

Meeting Abstract

Search Medline for

  • Andreas Stang - Universitätsklinikum Essen, Essen, Deutschland
  • Charles Poole

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. 62. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS). Oldenburg, 17.-21.09.2017. Düsseldorf: German Medical Science GMS Publishing House; 2017. DocAbstr. 301

doi: 10.3205/17gmds055, urn:nbn:de:0183-17gmds0551

Published: August 29, 2017

© 2017 Stang et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. See license information at http://creativecommons.org/licenses/by/4.0/.


Outline

Text

Einleitung: Die Newcastle-Ottawa-Scale (NOS) ist eine Skala zur Beurteilung der Qualität von Beobachtungsstudien und wird vom Cochrane Handbuch (update 2011) zur Verwendung in Metanalysen empfohlen. Kürzliche Studien zum Interobserver-Agreement zeigen eine niedrige Übereinstimmung zwischen Evaluatoren. Im September 2010 publizierte einer der Autoren dieses Beitrags einen kritischen Kommentar über die NOS (kurz “AS2010“). Dieser kritische, methodisch vernichtende Kommentar wurde der meist zitiertesten Beitrag des “European Journal of Epidemiology“. Bis zum 22.12.2016 wurde AS2010 1250mal zitiert. Das Ziel dieses Beitrags ist es, einen Überblick zur Zitationshistorie von AS2010 zu liefern und anhand einer Stichprobe von 100 Meta-Analysen, die AS2010 zitieren, zu prüfen, in welcher Weise die Autoren den Kommentar zitieren und wie, wenn überhaupt, die Autoren die NOS anwenden.

Methoden: Anhand des “Web of Science“ wurden alle Zitationen von AS2010 am 22.12.2016 herunter geladen. Für jede Zitation wurde das Jahr, der Name und das Land des Erstautoren, der Publikationstyp, die finanzielle Fördereinrichtung, der Name der Zeitschrift und die “Web of Science“ Kategorie gespeichert. Für eine Zufallsstichprobe von 100 AS2010-Zitaten wurden alle Volltext-Publikationen gesichtet und es wurde der Studientyp, die Anzahl von in den Meta-Analysen eingeschlossenen Studien, die Verteilung des NOS-Scores in jeder Metaanalyse und die Verwendung der NOS in der Analyse dokumentiert.

Ergebnisse: Der größte Anteil an AS2010 Zitationen stammt aus China (n=866, 69%), gefolgt von den USA (n=201, 16%) und England (n=65, 5%). AS2010 wurde am häufigsten in den Zeitschriften PLOS One (n=123, 10%), International Journal of Clinical and Experimental Medicine (n=47, 4%), Scientific Reports (n=41, 3%) und Tumor Biology (n=37, 3%) zitiert. Von den 100 Arbeiten mit Volltexten wurden 2 Arbeiten ausgeschlossen, da sie nicht AS2010 zitierten. Bei den verbleibenden 98 Arbeiten waren 2 Arbeiten keine Metaanalysen und wurden ausgeschlossen. Die 96 Metaanalysen schlossen eine NOS Skalierung von insgesamt 1395 Beobachtungsstudien ein. Die mediane Anzahl von Beobachtungsstudien betrug 11. Nur 2 von 96 Metaanalaysen (2%) enthielten eine kritische Würdigung der mangelnden Validität und Reliabilität der Validität der NOS, obwohl alle 96 Arbeiten AS2010 zitierten, obwohl es keine etablierten Cutoffs für NOS gibt. 7 von 96 (7%) Studien schlossen Beobachtungsstudien aus der Metaanalyse aus, wenn sie einen NOS-Schwellenwert nicht überschritten. 21 von 95 Metaanalysen führten eine Sensitivätsanalyse, stratifizierte Analyse oder Meta-Regression zur Berücksichtigung des NOS durch.

Diskussion: Unsere Analysen zeigen, dass Metaanalysten Arbeiten zitieren, die sie nicht lesen. Drei Gründe könnten hierzu beigetragen haben: (1) AS2010 enthält in PubMed kein Abstract, was noch klarer als der Titel der Arbeit signalisieren können, dass AS2010 deutlich vom Gebrauch von NOS abrät; (2) die Begründer der NOS haben niemals eine “peer-reviewed“ Publikation der Skala veröffentlicht; (3) die autoritative Cochrane Collaboration empfiehlt die Anwendung der NOS. Generell ist der Einsatz aggregierter Qualitätsindizes in Metaanalysen problematisch. Erst die Evaluation der Magnitude und Richtung des Effekts einzelner Studien-Eigenschaften auf die metaanalytischen Ergebnisse ist informativ.



Die Autoren geben an, dass kein Interessenkonflikt besteht.

Die Autoren geben an, dass kein Ethikvotum erforderlich ist.


Literatur

1.
Wells GA, Shea B, O'Connell D, et al. The Newcastle-Ottawa Scale (NOS) for assessing the quality if nonrandomized studies in meta-analyses. 2009. http://www.ohri.ca/programs/clinical_epidemiology/oxford.asp External link
2.
Higgins JPT, Green S. Cochrane handbook for systematic reviews of interventions. Version 5.1.0 [updated March 2011]. The Cochrane Collaboration; 2011. http://www.handbook.cochrane.org External link
3.
Stang A. Critical evaluation of the Newcastle-Ottawa scale for the assessment of the quality of nonrandomized studies in meta-analyses. Eur J Epidemiol. 2010;25(9):603-605.