gms | German Medical Science

Hintergrund: Beginnend mit einer ARD-Sendung am 19.07.2018 wurde eine Symptomatik aufgeblendet und zumindest über mehrere Wochen hinweg intensiv diskutiert in Ausprägung und Konsequenz, welche zumindest für die akademische Welt nur bedingt neue Fakten umfasste: Seit über einer Dekade zeigt sich ein wachsender Markt von Open Access-Verlagen, welche ihre Zeitschriften bewerben mit außerordentlich kurzen Zeitspannen von Einreichung bis Publikation eingereichter Artikel, dies jedoch nicht selten unter Einsatz vierstelliger „Gebühren“, welche einreichende Autoren zu entrichten haben. Die zum ARD-Beitrag federführenden Journalisten haben eindrucksvoll demonstriert, dass von einem solchen Verlag ein Artikel mit gänzlich sinnlosem – über algorithmische Wortkombinationen generierten – Inhalt in kürzester Zeit zur Publikation angenommen und veröffentlicht wurde; eine inhaltlich belastbare Prüfung durch Experten („Peer Review“) fand offenkundig nicht statt. Entlang der gleichzeitig aktiven „Fake News“-Diskussion in den USA wurde von den federführenden Journalisten der im von ihnen demonstrierten Fall auch vertretbare Terminus der „Fake Science“ geprägt.

Eine dann weitergehende Sichtung entsprechender Publikations-Plattformen konnte zeigen, dass auch aus der universitären Welt in nicht geringem Umfang Artikel in vergleichbaren Open Access-Journalen publiziert werden, in einigen Fällen selten mit bei genauer Prüfung nicht belastbaren oder gar ethisch grenzwertigen Inhalten, deren Aussagen und Implikationen oft methodisch nicht legitimierbar waren. Wenn auch in solchen Fällen statt von „Fake Science“ eher von „Junk Science“ gesprochen werden sollte – Publikationen mit geringem akademischen Nährwert, aber gefälliger Aufbereitung – wurde aus der Berichterstattung von Svea Eckert et al. offenkundig, dass überzeugend präsentierte Inhalte mit wissenschaftlich nicht haltbarer Basis der breiten Öffentlichkeit online zugänglich gemacht werden durch solche mangelhaft geprüften Open Access-Publikationen. Während der methodisch geschulte Leser hier sicherlich die Spreu vom Weizen trennen kann, mag dem methodisch ungeschulten Patienten beim Auffinden solcher Präsentationen im Internet auch eine nicht belastbare Aussage als fundiert suggeriert werden. Spätestens hier wird wirklicher Schaden für Dritte riskiert: Während Wissenschaftler kaum einen aktiven Vorteil durch Publikationen in solchen Foren haben dürften z.B. bei deren Vorlage in kompetitiven Drittmittel-Anträgen, kann gegenüber Patienten eben gerade durch die unbeschränkte Online-Verfügbarkeit eine nicht wirksame „Therapie“ als falsch-positive Hoffnung „verkauft“ werden.

Mit Blick auf die von solchen Publikations-Foren nicht selten gepflegten Geschäfts-Praktiken ist schon länger die Bezeichnung „Predatory Publishers“ im Umlauf. Hierbei wird nicht nur angespielt auf deren aggressive Werbung um Autoren und Artikel unter Verweis auf oft abstruse „Impact-Faktoren“ der eigenen Zeitschriften, sondern auch auf die oft desorientierten Gebührenordnungen zur reinen Drucklegung eingereichter Artikel.

Gleichzeitig hat sich recht schnell entlang der im Juli 2019 aufgeblendeten Diskussion die Einstellung verbreitet, dass diesen Zeitschriften primär das Fehlen eines aktiven (Expert) Peer Review vorzuwerfen sei, wodurch nicht belastbare Inhalte zur Publikation gelangen. Im Umkehrschluss würde bei Bestehen eines professionellen Expert Peer Review laut Tendenz dieser Diskussion auch das Problem mangelhafter Inhalte in solchen Zeitschriften aufgelöst werden können. Um diesen Umkehrschluss zu überprüfen, wurde am Institut für Medizinische Biometrie und Epidemiologie der Universität Witten/Herdecke eine Querschnittstudie herangezogen, welche international sichtbare Publikationen randomisierter Klinischer Prüfungen (RCTs) zur Versorgung von AMD-Patienten auf deren methodische Belastbarkeit hin überprüfte, nachdem alle in Zeitschriften mit belegtem Peer Review erschienen waren.

Methodik: Mit einer PubMed-Suche wurde eine Vollerhebung von RCTs zur Versorgung von AMD-Patienten durchgeführt, welche im Zeitraum von 2004 bis 2014 auf englischer Sprache publiziert wurden. Aus diesen wurden zufällig 97 Publikationen ausgewählt, die hinsichtlich der Qualität darin der beschriebenen statistischen Fallzahlplanung bewertet wurden. Geprüft wurde, ob in der Publikation eine konkrete und korrekte Fallzahlplanung beschrieben oder auf diese verwiesen wird. Hierbei wurde dokumentiert, ob diese Fallzahlplanung passend zur Studie ist, und ob alle Angaben zum Reproduzieren der Fallzahlkalkulation geliefert werden. Eine Re-Kalkulation der berichteten Fallzahl wurde vorgenommen, wenn immer dies möglich war (in unvollständigen Studien wurden fehlende Angaben, falls möglich, passend gewählt). Konkret wurde als primärer Endpunkt der Querschnitt-Studie das Vorliegen einer zur RCT passenden, vollständigen und korrekten Fallzahlplanung (Abweichung bei Nachberechnung um maximal ±2 Personen zugelassen) festgelegt. Re-Kalkulationen erfolgten mit der Software nQuery® (Version 4.0 für Windows®).

Ergebnisse: In nur 8 von 97 (8%) (95%-KI: [3%–13%]) Publikationen wurde eine vollständige und korrekte Fallzahlplanung beschrieben. Insgesamt 50 von diesen 97 Publikationen (52%) (95%-KI: [42%–62%]) machten keinerlei Angaben zur Fallzahlplanung; für 36 der 97 Studien (37%) konnte eine Re-Kalkulation der berichteten Fallzahl erfolgen. Die Abweichung der re-kalkulierten Fallzahl und der Fallzahl laut Publikation ergab sich im Median zu 1% mit maximal aufgetretenen Abweichungen von 66% (Fallzahl 261 laut Publikation versus 763 laut Nachberechnung) und -43% (Fallzahlen 10 versus 7).

Schlussfolgerung: Es zeigte sich, dass in einem großen Teil von Publikationen zu RCTs in international sichtbaren Plattformen – ein Drittel der untersuchten Artikel war z.B. in der Zeitschrift „Ophthalmology“ erschienen! – keine belastbaren Fallzahlplanungen berichtet werden. Formulierte Fallzahlplanungen waren ferner nicht selten unvollständig berichtet oder sogar fehlerhaft. Es kann somit nicht davon ausgegangen werden, dass das alleinige Führen eines Expert Peer Review, wie er in den betrachteten Zeitschriften belegbar implementiert ist, vor der Veröffentlichung methodisch nicht transparenter oder gar mangelhafter Darstellungen schützt. Wenn real in Studien rekrutierte Fallzahlen eine fundierte Fallzahlplanung um mehr als +/-30% unter- oder überschreiten, muss von ethisch und wissenschaftlich fragwürdigen Projekten ausgegangen werden, welche also nicht nur in den derzeit primär fokussierten „Predatory Journals“ zur Publikation gekommen sind.

Vielmehr scheint das Phänomen der „Junk Science“ in „Predatory Journals“ ebenso wie das in obiger Querschnittstudie erhaltene Ergebnis eine mittelbare Konsequenz ganz anderer Missstände zu sein: Als kausale Ursache muss für beide Beobachtungen die schon lang diskutierte „Publish or Perish“-Realität der internationalen Forschungslandschaft angegangen werden, ferner die offenkundig nicht fehlerfreie Natur des Expert Peer Review als wichtigster Stellschraube der Qualitätssicherung.