gms | German Medical Science

Die deutsche Epidemiologie spielt im Vergleich mit anderen medizinischen Disziplinen hinsichtlich ihrer Zitierungen eine bemerkenswert starke Rolle: Zu diesem Schluss kommt H.-E. Wichmann nach sorgfältiger Sichtung der „Stanford-Liste“ in ihrer Version von 2020 [1], [2]. Insgesamt finden sich nach seiner Zählung und Definition 54 in Deutschland tätige Epidemiologen auf dieser Zusammenstellung von weltweit ca. 150.000 Autoren. Damit stellen sie zwar nur etwa 1,5% aller in der Stanford-Liste aufgeführten deutschen Gesundheitswissenschaftler und Medizinerinnen. Jedoch steigt ihr Anteil, wenn der Kreis der Meistzitierten enger gezogen wird. Unter den Allerhöchstzitierten ist fast jeder fünfte Wissenschaftler Epidemiologe.

Einen solchen Artikel zu publizieren mag Unbehagen bereiten, gerade einer Schriftleitung, die ihre epidemiologische Masterarbeit zum Thema Publikationsbias verfasst hat [3]: War nicht das Wichtigste zum Thema Publizieren und Szientometrie damals, vor über 25 Jahren, schon geschrieben? Spätestens mit den prägenden prägnanten Sätzen „Underreporting research is scientific misconduct“ [4] auf der einen Seite und „We need less research, better research and research for the right reasons” [5] auf der anderen Seite musste doch offensichtlich geworden sein, dass Publikationstätigkeit zwar unverzichtbar ist und ein Indikator aktiver, relevanter Forschung sein dürfte, gleichzeitig aber Publikationsdruck, die schiere Quantität, ein klarer Fehlanreiz ist. Oder, wie es die Autoren einer Übersichtsarbeit zur Bewertung von Wissenschaftlern als Goodhart’s Law zitieren: [an assessment measure potentially] „ceases as a valid measurement when it becomes an optimization target“ [6].

Für das Jahr von Altmans „Skandal“-Essay (1994) verzeichnet Pubmed 438.248 Zitate. Im Jahr 2005 waren es schon 700.342. In diesem Jahr brandmarkte John Ioannidis, inzwischen Miturheber der Stanford-Liste, die fehlende Reproduzierbarkeit medizinischer Forschung und benannte, wenn auch nicht ganz so explizit wie Altman vor ihm, fehlgeleitete Forschungsmotivation als Teil der Kausalkette („Many otherwise seemingly independent, university-based studies may be conducted for no other reason than to give physicians and researchers qualifications for promotion or tenure”) [7]. So vielbeachtet und vielzitiert diese Arbeit war: Bis zum Jahr 2019 hat sich die per PubMed findbare medizinische Literatur noch einmal verdoppelt und bringt es nun auf fast 1,5 Millionen Zitationen im Jahr (eigene Recherche vom 9.11.2021, Jahr[dp]). Die Jahre 2020 und 2021 seien hier bewusst herausgelassen. Es zeichnet sich ab, dass näheres Beschauen gerade aus epidemiologischer Sicht traurige Rekorde an Research Waste aufdecken dürfte [8], [9].

Es trägt also schon eine gewisse Absurdität in sich, wenn dennoch weltweit Forscher und Forscherinnen dafür belohnt werden, dass sie zu dieser Inflation beitragen, ohne dass gleichzeitig überprüft wird, wie es um Reproduzierbarkeit und Qualität steht – periodisches Aufbäumen wie die Lancet-Serie zu Research Waste oder verdiente Aktivitäten Einzelner einmal außen vorgelassen [10], [11], [12]. Daher müssen wir uns schon fragen lassen: Wollen wir weitere Zahlenspiele? Was bedienen wir damit?

Vorweg: Selbstverständlich publizieren wir die Arbeit, wir freuen uns über die Einreichung und dass die MIBE hierfür gewählt wurde. Im guten Fall fördert die Beschäftigung mit der Stanford-Liste weitere, notwendige Diskussion zur Aussagekraft und Interferenz unterschiedlicher Parameter, vor allem aber zur Problematik einer quantitativen Vermessung von Forschungsoutput überhaupt. Darüber hinaus ermöglicht sie verschiedene Beobachtungen, wie in unterschiedlichen Wissenschaftsbereichen publiziert und zitiert wird. Sowohl Herr Wichmann als auch die Autoren der Stanford-Liste verweisen explizit darauf, dass die hier behandelten Parameter insbesondere für die Bewertung jüngerer Forscher ungeeignet sind.

Anhand des ausführlichen Zahlenwerks und verschiedener begleitender Artikel lassen sich reichlich eigene Beobachtungen und Analysen tätigen, in Bezug auf unser Fach, aber auch darüber hinaus, teils überraschend, teils bei näherer Betrachtung dann doch nicht so. Zwei davon seien hier geteilt, die auch direkt in Bezug zu den national orientierten Beobachtungen von Herrn Wichmann stehen.

1.

Epidemiologen publizieren vorwiegend in medizinisch-klinischen Fachzeitschriften. Die Stanford-Liste nutzt als Zuordnung zu Fächern eine Journal-Klassifikation, die 22 übergeordnete Felder (Fields) und 179 Unterkategorien (Subfields) vorsieht. „Epidemiology“ wird dabei als Unterkategorie von „Public Health & Health Services“ geführt. Allerdings publizieren Epidemiologen offensichtlich die Mehrheit ihrer Artikel nicht in epidemiologischen Fachzeitschriften, sondern vorwiegend in klinischen: Selbst die Autoren, deren häufigstes „Subfield“ Epidemiologie ist, publizieren dort nur etwa ein Drittel ihrer Artikel. Ähnliches gilt übrigens auch für Public Health oder Health Services – dort liegt der Anteil sogar noch deutlich niedriger. Dagegen publizieren beispielsweise Pflegewissenschaftler, aber auch klinische Forscher ganz überwiegend im eigenen Fach. Es überrascht vor diesem internationalen Hintergrund also nicht, wenn ausnahmslos auch alle von Herrn Wichmann identifizierten Epidemiologen der „Clinical Medicine“ zugeordnet sind.

2.

Epidemiologen gehören auch international zu den am häufigsten zitierten Wissenschaftlerinnen. Dies wird, analog den Beobachtungen von Herrn Wichmann für die deutschen Forscher und unter dem Vorbehalt der abweichenden Definition von „Epidemiologen“, umso auffälliger, je höher es in die „Spitzengruppe“ geht. Zwar zeigt unter den Lebenswissenschaften das Feld „Public Health & Health Services“ mit Abstand die niedrigsten Zitationszahlen für das Erreichen hoher Perzentile (Tabelle 1 [Tab. 1]). Sobald es in die Unterkategorien geht, fällt Epidemiologie dann jedoch innerhalb dieses Feldes komplett aus dem Rahmen. Beispielsweise werden fast 14.000 Zitationen für den 99% Rang benötigt. Am anderen Ende des Extrems ist man in den Pflegewissenschaften bereits mit 2.300 Zitationen ganz oben dabei. Diese Schere geht übrigens noch deutlich weiter auseinander, legt man die seit Oktober 2021 verfügbaren Daten bis 2020 zugrunde (https://elsevier.digitalcommonsdata.com/datasets/btchxktzyw/3).

Unter allen 179 „Subfields“ rangiert Epidemiologie hinter Kernphysik, Entwicklungsbiologie und Astronomie auf Rang 4 der am häufigsten zitierten Fächer, noch vor, aber dicht gefolgt von zunächst der Immunologie und dann den großen klinischen Fächern Herz-Kreislauf-Blut, Onkologie und Stoffwechsel. Ebenfalls mit ähnlicher Größenordnung ist auf Platz 9 die Bioinformatik vertreten. Zum Vergleich die anderen „Data Sciences“: „Medical Informatics“ findet sich auf Platz 117. Biometrie wäre wohl am ehesten der Unterkategorie „Statististics and probability“ zuzuordnen, immerhin auf Platz 38.

Wie ist das nun zu interpretieren? Herr Wichmann führt eine hohe Qualität und Relevanz der häufig von Konsortien durchgeführten epidemiologischen Studien an. Vermutlich muss man die Daten allerdings auch international so interpretieren, dass wir vor allem über inhaltlich motivierte Fragestellungen und Publikationen, gerade zu den hochzitierten Komplexen Herzkreislaufmedizin, Onkologie und Diabetes/Stoffwechselerkrankungen reüssieren, weniger über Artikel, die uns als Methodenfach auszeichnen und damit in fachspezifischen Zeitschriften erscheinen würden. Das ist ein wichtiger Aspekt in Bezug auf Bestrebungen einer Bündelung von Fächern wie Epidemiologie, Biometrie und Medizininformatik als „Data Sciences“: Epidemiologie war immer mehr als nur Methodenfach und Datenanalyse. Gerade die Kombination von inhaltlichen Fragestellungen und methodischen Kompetenzen macht uns aus – und macht uns offensichtlich auch so besonders sichtbar.

Alle Zitations- und Publikationsmaße, die bisher genutzt werden, ziehen die Problematik von Fehlanreizen nach sich oder unterliegen – neben Forschungsrelevanz und -aktivität – Einflüssen, die, wenn auch nicht alle nur negativ zu bewerten, wenig mit Forschungsqualität zu tun haben [6]. Vorwiegend sind dazu zu nennen: Alter (bzw. langjährige Forschungstätigkeit), Mitgliedschaft in großen Konsortien (viele Autoren je Artikel), großzügige Praxis hinsichtlich Koautorenschaften und Selbstzitationen sowie Fokussierung auf „hippe“ Forschung und Zurückhaltung bezüglich riskanter Projekte mit unklarem Ausgang. Je nach Art des genutzten Maßes kommt wahlweise noch Data Dredging und Salami-Slicing (Anzahl von Publikationen) oder Unterdrückung nicht so aufregender Ergebnisse mit der Folge von Publikationsbias (Zitationen je Artikel, mittelbar auch der Hirsch-Index) hinzu. Der Journal Impact Factor sei als obsoletes Maß hier gar nicht erst thematisiert. In der Epidemiologie, für die unter anderem große Langzeitprojekte kennzeichnend sind, ist zudem hilfreich, vorwiegend in der „Verwertungsphase“ tätig zu sein, und sich beim Säen oder sonstigen Tätigkeiten ohne unmittelbare Publizierbarkeit eher etwas zurückzunehmen oder zumindest so lange auszuharren, dass die Früchte der Aufbauarbeit auch geerntet werden können.

Der Composite Score kombiniert mehrere Maße und gleicht damit möglicherweise verschiedene Nachteile unterschiedlicher Herangehensweisen aus. Vor allem aber korrigiert er für Koautorenschaften, anders als beispielsweise der Hirsch-Index, für den völlig irrelevant ist, ob man Erst- oder Seniorautor ist oder an Stelle 16 von 53 steht. Was bedeutet das für Epidemiologen? Wie Herr Wichmann darlegt, sinkt die Bewertung von Epidemiologen relativ zu anderen medizinischen Fächern, wenn statt der Zitationshäufigkeit der Composite-Score zugrunde gelegt wird – ein Zeichen dafür, dass Zitationshäufigkeit in unserem Fach viel über Beteiligungen an Großprojekten und Konsortien läuft. Gleicht der Score sonstige Fehlanreize aus? Ich fürchte, er fügt noch neue hinzu: Beim Composite Score dürften langjährige Leiter großer Abteilungen mit einer Devise „Chef steht immer hinten“ gewinnen (oder ihre Kronprinzen, wenn sie günstig auf Autorenlisten platziert werden). Insofern ist es nicht nur durch typische Charakteristika epidemiologischer Konsortial-Forschung bedingt, sondern auch durchaus ein gutes Zeichen, dass die deutschen Epidemiologen in der Mehrheit vom Composite Score eher nicht profitieren.

Die Stanford-Liste erlaubt keine Darstellung, ob sich jemand als Epidemiologe versteht oder vielleicht nur als klinische Expertin häufig an epidemiologischen Projekten beteiligt ist (mangelnde Spezifität). Vor allem werden alle diejenigen nicht als Epidemiologen erfasst, die vorwiegend in klinischen Zeitschriften publizieren (fehlende Sensitivität). Alle Ausführungen oben zur internationalen Situation sind unter dieser Einschränkung zu sehen. Für die nationale Darstellung hat sich Herr Wichmann mit einer Definition verdient gemacht, die die Zuordnung zu epidemiologischen Forschungseinrichtungen, Fachgesellschaften oder Großprojekten zugrunde legt. Das ist notwendigerweise ebenfalls fehlerbehaftet, aber vermutlich das Beste, was möglich ist. Epidemiologin ist kein geschützter Begriff, und gerade für so ein interdisziplinäres Fach sind Grenzen zu verwandten Fächer fließend, die gleichzeitige Selbstzuschreibung zu mehreren Fächern denkbar und eine Selbst-Etikettierung vermutlich auch zeitlichen Trends unterworfen (Zunahme in pandemischen Zeiten?). Virologen, Mikrobiologen und Hygieniker publizieren ebenfalls in als epidemiologisch klassifizierten Fachzeitschriften, ohne dass sie sich notwendigerweise als Epidemiologen verstehen oder von Herrn Wichmann als solche klassifiziert würden.

Als Sprecherin der Zertifikatskommission Epidemiologie kann die Autorin dieses Editorials selbstverständlich nicht umhin, auf eine besonders naheliegende Lösung hinzuweisen, sich als Epidemiologin auszuweisen. Dieses Zertifikat wird gemeinsam von den vier Fachgesellschaften DGEpi, GMDS, DGSMP und IBS-DR vergeben und bescheinigt fortgeschrittene und umfassende Kenntnisse und Forschungserfahrung in der Epidemiologie [13]. Von den durch Herrn Wichmann geschätzten 13.000 Epidemiologen in Deutschland sind zwar nur 97 Wissenschaftler Zertifikatsträger, entsprechend einem Anteil von etwa 0,7%. Allerdings finden sich 27 dieser 97 Wissenschaftler mit deutscher Affiliation auf der Stanford-Liste und stellen damit über 50% der von Herrn Wichmann identifizierten deutschen Epidemiologen. Vier weitere Zertifizierte sind über Affiliationen im Ausland auf der Stanford-Liste vertreten (3 USA, 1 Niederlande).

Abschließend darf ein letzter statistischer Hinweis nicht fehlen: Nur neun der 54 Top-Epidemiologen laut Wichmann-Liste sind Frauen, also nicht einmal ein Fünftel. Das liegt geringfügig unter dem ebenfalls geringen Anteil von Frauen unter den Zertifizierten (19 von 97), aber erheblich unter dem Eindruck eines üblichen Frauenanteils in deutschen epidemiologischen Instituten. Nachteile von Frauen bei quantitätsbasierten Wissenschaftsmaßen wurden empirisch untersucht und haben vermutlich unter anderem mit häufiger unterbrochener Forschungstätigkeit/mehr Wechseln, Confounding durch Alter und möglicherweise auch mit größeren Hemmungen, sich selbst zu zitieren, zu tun [14], [15].

Die Stanford-Liste und der in diesem Kontext entwickelte Composite Score reihen sich ein in eine kritisch zu betrachtende Praxis von Forschungsmessung. Zwar ist vermutlich davon auszugehen, dass eine hohe Zitationshäufigkeit mit nachfolgender prominenter Sichtbarkeit auf dieser Liste mit hoher Forschungsrelevanz und -reputation einhergehen – da sei keinem der top-gelisteten Personen zu nahe getreten. Allerdings aber auch mit Seniorität, vor allem als Leiter großer epidemiologischer Institute (was auch die männliche Dominanz erklären dürfte). Wer das Fach vor allem methodisch weiterbringen möchte, nicht für die großen klinischen Disziplinen publiziert und noch auf der Suche nach einem Lehrstuhl ist, wird sich eher nicht auf dieser Liste wiederfinden. Vorteile der Liste sind die Transparenz und öffentliche Zugänglichkeit des Datenmaterials, die eine abwägende und gleichzeitige Betrachtung unterschiedlicher Parameter erlaubt.

Zur Klärung der Frage, wer denn nun ein Epidemiologe ist, legen wir dem Leser die Möglichkeit des Zertifikatserwerbs nahe. Zur Verbesserung der Forschungssituation möchte ich ermutigen, dass gerade die, die bereits einen Lehrstuhl besetzen, das tun, was dem Mittelbau nur eingeschränkt möglich ist: Sich für alternative Wege der Forschungs- und Mitarbeiterförderung einzusetzen, wie sie beispielsweise in einer niederländischen Darstellung gelistet sind [12]. Wir laden herzlich zur Diskussion zur Thematik ein. Gerne auch über weitere Beiträge zur MIBE!

Antje Timmer ist Sprecherin der Zertifikationskommission Epidemiologie und vertritt dort die GMDS. Was Strategien zur Optimierung von Zitationshäufigkeiten angeht, hat sie bewusst und gerne viel verkehrt gemacht, aber es auf besonders effiziente Weise und zur eigenen Verblüffung dennoch auf die Liste geschafft, wenn auch nur auf einen der hinteren Plätze – durch Publikation von Cochrane-Reviews.

Beziehungen zu den besprochenen Autoren: J. Ioannidis hat 2020 unentgeltlich zu einer Lehrveranstaltung der Autorin beigetragen. H.E. Wichmann war Vorgesetzter 2008–2010 und hat zu keiner Zeit Publikationsdruck auf die Autorin ausgeübt.