gms | German Medical Science

Manchen unserer Leser ist vielleicht schon aufgefallen, dass einige Artikel in der JME seit kurzer Zeit mit einem „Donut“ markiert sind, einem Ring mit ein- oder mehrfarbigen ineinander verschlungenen Strängen und einer Zahl in der Mitte. Es handelt sich dabei um das Emblem der Firma Altmetrics.com [http://www.altmetric.com], die sich nach dem Sammelbegriff für Verbreitungsindikatoren wissenschaftlicher Publikationen jenseits des Impact Faktors („alternative metrics“ oder „altmetrics“) benannt hat [1], [2]. Der Donut zeigt an, in welchen Online-Medien auf den Artikel Bezug genommen wurde. Je mehr Farben der Ring enthält, desto größer ist die Zahl der verschiedenen, auf den Artikel verweisenden Medien. Ausgewertet werden dabei allgemeine Nachrichtenportale und Zeitungen, die wissenschaftliche Bibliographieplattform Mendeley, Webseiten für Post-Publication Peer Review (z.B. Publons, siehe unten), Zitationen in Scopus (der vom Verlag Elsevier betriebenen Literaturdatenbank), Wikipedia, Blogs, soziale Medien wie Facebook und Twitter, YouTube und viele andere Quellen. Die Zahl in der Mitte des Rings wird als „Aufmerksamkeits-Score“ bezeichnet und ist ein gewichtetes Maß für die Reichweite des jeweiligen Artikels in den ausgewerteten Medien (genauere Angaben zur Berechnung finden sich hier: https://goo.gl/jSLn1Y vgl. [3]). Ein Klick auf das Symbol führt zu einer Webseite, auf der die genaue, auch geographische Verteilung der medialen Aktivitäten aufgeschlüsselt ist.

Welche Bedeutung hat diese Form der Auswertung und der alternative Score? Zunächst einmal ist er Ausdruck eines, wenn auch sehr zeitverzögert und langsam einsetzenden Wandels in der wissenschaftlichen Kommunikation [4]. Die Produktivität und Qualität von Wissenschaftlerinnen und Wissenschaftlern wird derzeit in erster Linie an ihren Publikationen gemessen. Die Form dieser Publikationen ist trotz des ansonsten alle Bereiche unseres Lebens durchdringenden digitalen Wandels bemerkenswert konstant geblieben. Nach wie vor werden wissenschaftliche Erkenntnisse als Artikel in Zeitschriften veröffentlicht, die vielfach noch nach Bänden, Ausgaben und Seitenzahlen organisiert sind, auch wenn sie – zumindest im Bereich der Medizin und der Naturwissenschaften – kaum mehr auf Papier gedruckt werden. Und auch das wissenschaftliche Gratifikationssystem orientiert sich weiterhin an diesen Strukturen: Immer noch ist es die Zahl der Artikel mit möglichst großem Einfluss („Impact“), die für die Karriere eines Wissenschaftlers entscheidende Bedeutung hat. Gemessen wird der Einfluss bislang fast ausschließlich mit dem Impact-Faktor, einer Maßzahl, die angibt, wie häufig Artikel aus einer Zeitschrift in den vorangegangenen zwei Jahren von anderen wissenschaftlichen Zeitschriften zitiert worden sind [5]. Der Impact-Faktor als Maß der Forschungsleistung, insbesondere einzelner Wissenschaftler wird zunehmend kritisch gesehen: In der San Francisco Declaration on Research Assessment (DORA) aus dem Jahr 2012 fordern mittlerweile über 500 Organisationen und über 12.000 Wissenschaftlerinnen und Wissenschaftler u.a., den Impact-Faktor und vergleichbare Journal-Metriken nicht zur Beurteilung der Qualität individueller Artikel oder ihrer Autoren bzw. zu deren Einstellung oder (Be-) Förderung zu nutzen [http://www.ascb.org/dora/], [6]. Gleichzeitig ist aber kaum erkennbar, dass sich hier in absehbarer Zeit echte Veränderungen vollziehen würden, obwohl es mittlerweile zu den verschiedenen Aspekten der traditionellen Publikationspraxis durchaus alternative Vorgehensweisen gibt.

So etabliert sich in den letzten Jahren das „Post Publication Peer Review“ (PPPR) als Alternative zum herkömmlichen „Pre Publication Peer Review“ [7]. Die Gründe dafür liegen auf verschiedenen Ebenen. So gibt es bislang kaum Evidenz dafür, dass das traditionelle Peer Review-Verfahren die Qualität von Manuskripten tatsächlich verbessert, was allerdings auch an den methodischen Schwierigkeiten liegt, die eine dementsprechende Forschung erschweren [8]. Kürzlich wurde eine Studie durchgeführt, die diese Fragestellung an den Zeitschriften der Plattform BMC untersuchte, auf der die sogenannte Pre-Publication-History, also alle Gutachten zum Manuskript sowie die Antworten der Autoren veröffentlicht werden [9]. Dabei zeigte sich, dass die Gutachter insgesamt nur relativ wenige Änderungsvorschläge machten. Während diese Vorschläge mehrheitlich zu einer qualitativen Verbesserung der Manuskripte führte, gab es aber auch Vorschläge, die die Manuskripte verschlechterten. Außerdem übersahen die Gutachter viele Schwächen und Fehler in den Manuskripten, die bereits mit einfachen Tools, z.B. Checklisten auf Grundlage des CONSORT-Statements [10] hätten entdeckt werden können. Weitere Kritikpunkte beziehen sich auf die Verzögerung der Publikation, die durch das vorgeschaltete Peer Review Verfahren entstehen kann, sowie auf die Tatsache, dass in der Regel nur zwei bis drei Gutachter am Begutachtungsprozess beteiligt sind, deren fachliche Expertise zudem nicht immer bekannt oder transparent ist [7].

Mittels PPPR, für das es mit dem kürzlich online gegangenen Portal „AMEE MedEdPublish“ auch in der Medical Education Community ein Beispiel gibt [www.mededpublish.org], sollen diese Schwächen vermieden werden. Manuskripte werden dabei ohne vorherige Begutachtung bzw. wie im Fall von MedEdPublish, nach einer eher formalen, redaktionellen Prüfung, sofort veröffentlicht. Im Anschluss an die Publikation werden die Manuskripte dann von den Lesern bewertet, wobei es hier ein breites Spektrum an Vorgehensweisen gibt. Im Fall von MedEdPublish kann jeder, der sich auf der Plattform registriert hat, den Artikel begutachten und bewerten. Die damit verbundene Hoffnung ist die, dass durch die Beteiligung einer potentiell unbegrenzten Zahl von Gutachtern die Zuverlässigkeit und Validität der Bewertung zunimmt. Allerdings gibt es zusätzlich auch ein Panel von offiziellen Gutachtern, deren Bewertung nach einem festgelegten Zeitraum darüber entscheidet, ob ein Artikel eine Empfehlung erhält, die – so zumindest der Plan der Initiatoren – dann dazu führen soll, dass ein solcher Artikel in PubMed Central indexiert wird. Damit wäre er dann Publikationen in Zeitschriften mit herkömmlichem Peer Review und PubMed-Listung gleichgestellt und wäre zumindest mancherorts auch karriereförderlich verwertbar.

Neben dieser Form des PPPR, die das traditionelle Peer Review ersetzen soll, wird der Begriff aber auch verwendet, um alle Formen der Kritik bzw. Kommentierung eines Artikels zu erfassen, die nach der Veröffentlichung stattfinden, auch dann, wenn der Artikel bereits ein klassisches Peer Review durchlaufen hat. Dass das durchaus notwendig ist, zeigt sich immer wieder an Publikationsskandalen. So wurden etwa Unstimmigkeiten in hochrangig publizierten Arbeiten zur Stammzellforschung von bekannten Bloggern aufgedeckt, die schließlich zur Rücknahme der Artikel führten [11]. Zwar gibt es in Form von Leserbriefen auch bisher schon die Möglichkeit, Artikel zu kritisieren oder zu kommentieren, allerdings wirkt diese Form wissenschaftlicher Kommunikation angesichts der Möglichkeiten des Internets eher anachronistisch. Leserbriefe werden, wenn überhaupt, oft mit erheblicher Verzögerung veröffentlicht und führen auch nicht immer zu einer Antwort der Autoren, geschweige denn zu einer Reaktion der Zeitschriften, die zudem auch noch einen Interessenskonflikt haben, kritische Leserbriefe überhaupt zu veröffentlichen [12].

Insofern ist es naheliegend, Kritik und Diskussion wissenschaftlicher Arbeiten ins Internet zu verlagern. Was sich selbstverständlich anhört ist allerdings nicht so trivial, wie es scheint. Denn wo und wie genau soll diese Diskussion und Kommentierung stattfinden? Wie soll etwa bekannten Schwierigkeiten der Kommunikation in sozialen Netzwerken (z.B. Polemik und überzogene Kritik im Schutz von Anonymität bzw. von Fake-Profilen) begegnet werden? Wer wird sich mit welcher Motivation an dieser Diskussion beteiligen?

Für die Frage nach dem Ort der Diskussion zeichnen sich bereits Lösungen ab z.B. in Form sozialer Netzwerke für die Wissenschaft wie ResearchGate [www.researchgate.net] und Academia [www.academia.edu]. Auf diesen Plattformen können Wissenschaftler unter anderem ihre Publikationen zur Verfügung stellen, die Publikationen anderer lesen und kommentieren, sowie – analog zu einem Forum – verschiedene Themen diskutieren. Auf ResearchGate wird aus diesen Aktivitäten sowie der Resonanz darauf eine Maßzahl („RG Score“) berechnet, die – zumindest nach Auffassung der Firma – die Reputation des jeweiligen Wissenschaftlers innerhalb der Plattform und möglicherweise auch darüber hinaus wiedergibt. Wissenschaftliche Studien zu ResearchGate zeigen, dass die sozialen und netzwerkbezogenen Funktionen der Plattform bislang kaum genutzt werden, sondern fast ausschließlich die Möglichkeit, wissenschaftliche Artikel zu verbreiten (die dazu allerdings erst auf die Plattform hochgeladen werden müssen, was hinsichtlich des Urheberrechts in vielen Fällen nicht unproblematisch ist) [13]. Interessant ist die Frage, in wieweit die Zahl der Lesezugriffe auf ResearchGate (die ebenfalls in den RG Score eingehen) mit anderen Maßzahlen, z.B. der Zahl der Zitationen korreliert ist. In einer kürzlich dazu durchgeführten Studie zeigte sich zum einen, dass auf der Plattform jüngere Arbeiten gegenüber älteren Arbeiten stärker vertreten sind, und dass zudem die jüngeren Arbeiten häufiger gelesen werden. Ein Vergleich der Lesezugriffe auf ResearchGate mit der Zahl der Zitationen in der Literaturdatenbank Scopus sowie der Zahl der Leser auf der wissenschaftlichen Bibliographieplattform Mendeley ergab nur niedrige Korrelationen, was die Autoren dahingehend interpretieren, dass hier möglicherweise tatsächlich unterschiedliche Zielgruppen erfasst werden [14]. Das wiederum würde bedeuten, dass die jeweiligen Maßzahlen dieser verschiedenen Medien und Plattformen unterschiedliche Aspekte der Verbreitung und Resonanz von Wissenschaft erfassen und somit durchaus ihre jeweilige Berechtigung haben könnten [15].

So beliebt ResearchGate, Academia und Mendeley mittlerweile auch sein mögen: Aus wissenschaftlicher Sicht unbefriedigend ist die Tatsache, dass hinter diesen Plattformen jeweils privatwirtschaftliche Unternehmen mit entsprechenden Verwertungsinteressen stehen, die hinsichtlich ihres Geschäftsgebahrens nicht transparent sind. Daher erscheint das 2013 von PubMed gestartete Projekt „PubMed Commons“ als wesentlich vielversprechender. Jeder Autor, der eine Veröffentlichung hat, die in PubMed gelistet ist, kann sich über einen kostenlos erhältlichen NCBI-Account für diesen Dienst anmelden. Dann hat man die Möglichkeit, jeden Artikel, der in PubMed verzeichnet ist, zu kommentieren. Das Kommentarfeld befindet sich unmittelbar unter dem Artikelabstract in PubMed und die Kommentare werden jedem angezeigt, der den Artikel in PubMed aufruft. Daher können auch alle Artikel des JME (bzw. der ZMA) ab dem Jahrgang 2005 auf diese Art und Weise kommentiert und diskutiert werden. Augenscheinlich wird allerdings von dieser Möglichkeit noch kein Gebrauch gemacht und auch sonst ist die Intensität des Austauschs auf PubMed Commons bisher gering. Die Gründe dafür muss man nicht lange suchen: Angesichts der notorischen Zeitknappheit werden die wenigsten Wissenschaftler die Notwendigkeit verspüren, hier aktiv zu werden, zumal es dafür – abgesehen von der Befriedigung ideeller Motive und wissenschaftlichen Interesses – keine Gratifikationen gibt, die sich karierreförderlich auswirken könnten. Darüber hinaus werden auch noch weitere Gründe diskutiert, die in ähnlicher Form auch in den sozialen Netzwerken insgesamt eine Rolle spielen. So könnten sich insbesondere junge Wissenschaftler durchaus die Frage stellen, in wieweit sie sich etwa mit der dann öffentlichen Kritik an einem Artikel bereits arrivierter Kollegen zukünftige Karrierechancen verbauen. Die soziale Dynamik könne sich zudem negativ etwa im Sinne von Stereotypisierungen oder geschlechterbezogenen Verzerrungen auswirken [16]. Solche Überlegungen machen deutlich, dass auch das PPPR mit einigen Nachteilen einhergehen kann, was auch ein wichtiger Grund dafür ist, dass die JME derzeit noch am verblindeten Pre-Publication-Peer-Review festhält.

Zumindest was die Gratifikation für das Erstellen eines wissenschaftlichen Peer Reviews angeht (sowohl für Pre- als auch für Post- Publication) wird ebenfalls an Lösungen gearbeitet. Auf dem Portal Publons [publons.com] kann man sich als Gutachter registrieren und dann seine Gutachtertätigkeit öffentlich dokumentieren. Da bereits viele große Verlage mit diesem Portal zusammenarbeiten (u.a. Springer, Thieme, BMJ) wird einem nach Abschluss der Begutachtung bereits routinemäßig angeboten, das Gutachten dort zu dokumentieren. Dabei sind je nach Vereinbarung mit den Zeitschriften verschiedene Formen der Dokumentation möglich: Von der rein quantitativen und anonymen Angabe, wie viele Reviews gemacht wurden bis hin zur Dokumentation des Volltextes des Gutachtens. Auch wenn ein Verlag oder eine Zeitschrift noch keine Absprache mit Publons getroffen hat (wie das derzeit noch für die JME der Fall ist), können die Gutachten dort quantitativ dennoch dokumentiert werden. Auch auf Publons gibt es ein Punktesystem, mit dem die Gutachtertätigkeit honoriert wird und das sich, jedenfalls nach den Vorstellungen der Firmengründer, förderlich auf die Karriere oder zumindest die Anerkennung im akademischen Umfeld auswirken soll [17].

Dieser kursorische Überblick über einige Online-Aktivitäten, die in den Altmetrics-Donut und -Score einfließen verdeutlicht, dass sich jenseits von wissenschaftlichen Artikeln und dem vielfach kritisierten Impact-Faktor vielgestaltige wissenschaftliche Aktivitäten entfalten, deren Potential – einerseits – derzeit noch nicht ausgeschöpft wird und deren Bedeutung – andererseits – momentan noch nicht wirklich eingeschätzt werden kann [18]. Dennoch erscheint es sinnvoll und notwendig, diese Aktivitäten zu erfassen und sich daran zu beteiligen, soweit es die eigenen Möglichkeiten und Ressourcen zulassen. In diesem Sinne möchten wir jedenfalls alle unsere Autorinnen und Autoren, Gutachterinnen und Gutachter, Leserinnen und Leser dazu auffordern, auf ihre Arbeiten in anderen Medien und Netzwerken hinzuweisen, damit die fachliche Diskussion zu intensivieren und – nicht zuletzt – die Aufmerksamkeit für die JME zu vergrößern [19].

Die Autoren erklären, dass sie keine Interessenkonflikte im Zusammenhang mit diesem Artikel haben.