gms | German Medical Science

GMS Medizin — Bibliothek — Information.

Arbeitsgemeinschaft für Medizinisches Bibliothekswesen (AGMB)

ISSN 1865-066X

Bibliometrie 2.0 – Altmetrics in der Medizin

Bibliometrics 2.0 – Altmetrics in medicine

Fachbeitrag

Search Medline for

  • corresponding author Michaele Adam - Sächsische Landesbibliothek, Staats- und Universitätsbibliothek Dresden (SLUB), Deutschland

GMS Med Bibl Inf 2014;14(3):Doc21

doi: 10.3205/mbi000318, urn:nbn:de:0183-mbi0003187

Published: December 19, 2014

© 2014 Adam.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Zusammenfassung

Der allgemeine digitale Wandel führt zu tiefgreifenden Veränderungen in den Forschungs- und Publikationsprozessen. Neue Kommunikationswege werden zunehmend für den wissenschaftlichen Austausch genutzt. Die Datengrundlage für die Messung dieser Wissenschaftskommunikation bilden die sogenannten alternativen Metriken, Altmetrics. Neben sozialen Netzwerken, Blogs, Bookmarking-Diensten und Online-Literaturverwaltungen zählen dazu ebenfalls Kennzahlen wie Downloads oder Views.

Die Ermittlung von Nutzungszahlen aus der Vielfalt verschiedenartiger Publikationsformen, Artikel, Datensets, Blogposts, Online-Evaluationssysteme, soziale Netzwerke, erfordert einen übermäßig hohen Aufwand. Anbieter von Altmetrics-Diensten entwickeln Konzepte, um diese Kennzahlen auf einer Plattform zu integrieren und zusätzliche Funktionalitäten für die Weiterverarbeitung der Daten bereitzustellen. Zu den heute etablierten Services gehören PLoS Article-Level Metrics, ImpactStory, Altmetric und PlumAnalytics. Deren Angebote wurden aus Anwendersicht anhand eines erarbeiteten Kriterienkatalogs verglichen. Von Interesse waren Aspekte der inhaltlichen Abdeckung, Nutzbarkeit, Nachvollziehbarkeit und Offenheit der Systeme. Außerdem wurde die Frage erörtert, inwieweit Altmetrics bereits Beachtung in der Medizin finden.

Im Ergebnis des Vergleichs zeigten sich in mehrfacher Hinsicht erhebliche Unterschiede. Dazu gehören das analysierte Datenmaterial (Artefakte), die Einzelmetriken, Bewertungsverfahren, Schnittstellen, Reporting-Optionen und das jeweilige Geschäftsmodell.

Schlüsselwörter: Bibliometrie, Altmetrics, SLUB Dresden, Medizin

Abstract

The general digital change leads to profound transformation in research and publication processes. New ways of communication are being increasingly used for scientific exchange. The data used for the measurement of this science communication are called alternative metrics or Altmetrics. Figures such as downloads or views, social networks, blogs, bookmarking services and reference management systems are included.

The determination of useful numbers from the variety of different types of publications, such as articles, data sets, blog posts, online-evaluation systems, social networks, usage numbers, requires huge effort. Providers of Altmetrics services develop concepts to integrate these metrics on an own platform and to provide additional functions for further data processing. Today PLoS Article-Level Metrics, Impact Story, Altmetric and PlumAnalytics are established services. Deriving form users’ perspective they were compared to a compiled list of criteria. Aspects of interest were coverage, usability, accountability and openness of the systems. In addition, the question was discussed to what extent Altmetrics are already being used in medicine.

The results showed significant differences in several ways. These included the analyzed data material (artifacts), the individual metrics, evaluation methods, interfaces, reporting options and the respective business model.

Keywords: bibliometrics, altmetrics, SLUB Dresden, medicine


Bibliometrie im Wandel?

Bibliometrie im klassischen Sinn hat bereits eine lange Tradition [1]. Bibliometrische Analysen von Publikationen und Zitationen finden im gesamten Forschungsprozess Anwendung. Sie bieten Unterstützung bei der Untersuchung des bereits veröffentlichten Wissens, bei der Auswahl geeigneter Publikationen zur Veröffentlichung von Forschungsergebnissen und in der Forschungsevaluation. Der Anwendung sind jedoch auf Grund vieler Einflussfaktoren Grenzen gesetzt. Dazu gehört insbesondere die eingeschränkte Datenbasis und Zugänglichkeit der Zitationsdatenbanken Web of Science und Scopus. Darauf beruhende Berechnungen von bibliometrischen Kennzahlen wie Journal Impact Factor oder h-Index werden in ungeeignetem Kontext verwendet und zudem durch unterschiedliche Publikationskulturen und Zitiergewohnheiten in den Wissenschaften beeinflusst. [2], [3]. Hinzu kommt, dass sich Zitationen immer auf einen länger zurückliegenden Zeitraum beziehen. Welche Beachtung eine Publikation vom Zeitpunkt ihrer Veröffentlichung bis hin zu einer Zitation erfährt, bleibt jedoch verborgen.

Mit der Entwicklung der E-Science gehen auch Veränderungen in der Wissenschaftskommunikation einher. Der wissenschaftliche Austausch findet heute nicht mehr nur über die Publikation selbst und ihre Zitationen statt. Neue Web Technologien ermöglichen eine verstärkte Vernetzung und Zusammenarbeit der Wissenschaftler, aber auch das Teilen von Wissen. Zudem entstehen neue Plattformen, um auch das Wissen in nicht-traditionellen Publikationsformen, wie beispielsweise Software oder Daten-Sets, zu veröffentlichen. Diese veränderten Forschungs- und Publikationsprozesse werden häufig unter dem Begriff Science 2.0 [4] oder CyberScience 2.0 [5] zusammengefasst. Sie sind Gegenstand einer Vielzahl fachunabhängiger, aber auch fachspezifischer Aktionen, wie dies die folgenden Beispiele belegen. Bereits 2012 wurde der Leibniz-Forschungsverbund Science 2.0 gegründet. Unter Beteiligung vieler Verbundpartner unterschiedlicher Fachdisziplinen werden die Auswirkungen von Science 2.0 untersucht [6]. Die San Francisco Declaration on Research Assessment (DORA) wurde 2012 von der American Society for Cell Biology (ASCB) gemeinsam mit Wissenschaftsverlagen und Fachgesellschaften initiiert. Diese weltweite Initiative enthält Empfehlungen, um die Bewertung wissenschaftlicher Forschung zu verbessern [7]. Verlage integrieren einerseits auf ihren Plattformen Links zu Social Media und offerieren andererseits mittlerweile auch verstärkt auf Artikelebene diverse Kennzahlen. Darunter sind neben großen Wissenschaftsverlagen wie Nature Publishing Group [8], Wiley [9] und Elsevier [10] vor allem auch Open Access-Verlage wie Frontiers [11] und BioMed Central [12] zu finden. Veränderte Förderkriterien der US National Science Foundation (NSF) zeigen bereits eine neue Sichtweise in der Forschungsevaluation [13]. Die Wissenschaftler sind dort aufgefordert, künftig in ihren Bibliografien Forschungsprodukte statt der bisherigen Forschungspublikationen darzustellen. Im Fachgebiet Medizin spiegeln sich die Veränderungen in den Kommunikationsprozessen beispielsweise in Diskussionen über Health 2.0, eHealth oder Medicine 2.0 [14] wider. Kongresse beschäftigen sich eigens mit den neuesten Technologien für den Einsatz von Social Media in der biomedizinischen Forschung und im Gesundheitswesen [15], [16].

Welche Auswirkungen ergeben sich aus den beschriebenen Entwicklungen für die Bibliometrie? In diesem Zusammenhang ist zu überlegen, wie die elektronische Nutzung unterschiedlicher, auch nicht-traditioneller Publikationsformen beziehungsweise Forschungsprodukte gemessen werden kann. Als Merkmal für das Interesse an diesen Produkten kann zum einen dienen, wie oft diese angeschaut oder gespeichert wurden. Zum anderen kann die Nennung in Social Media, wie soziale Netzwerke, Blogs, Online-Literaturmanagementsysteme und Online-Evaluationssysteme zusätzliche Informationen über die Nutzung geben. Um den Unterschied zur klassischen Bibliometrie zu verdeutlichen, wurde 2010 zunächst von Scientometrics 2.0 gesprochen [17], dann jedoch im selben Jahr von Priem die Formulierung Altmetrics geprägt [18], [19]. Oft werden synonym die Begriffe ALM, Article-Level Metrics oder Alternative Metrics genannt. Definiert werden damit neue Metriken, welche die Bedeutung des social Web in der wissenschaftlichen Kommunikation zum Betrachtungsgegenstand haben.

Altmetrics haben in einem relativ kurzen Zeitraum große Aufmerksamkeit erlangt, wie bereits eine einfache Stichwortsuche nach den Begriffen „bibliometrics“ und „altmetrics“ in der Suchmaschine Google im Vergleich zeigt. Verschiedene Ideen entstanden, um die vielfältigen Kennzahlen inhaltlich zu strukturieren und in geeigneter Form zur weiteren Auswertung bereitzustellen. Studien befassen sich mit den Verbreitungswegen wissenschaftlicher Kommunikation, mit Einsatzmöglichkeiten bibliometrischer Verfahren bei der Analyse von Altmetrics und der Bedeutung einzelner Metriken.

In dem wachsenden Maße, wie sich wissenschaftliche Bibliotheken mit dem Aufbau von Informationsinfrastrukturen auf dem Gebiet der E-Science oder von Bibliometrie-Services neue Arbeitsfelder aufbauen, wird über Altmetrics auch an Bibliotheken diskutiert [20], [21].

In der folgenden Untersuchung wurde das Thema Altmetrics aus zwei unterschiedlichen Perspektiven betrachtet. Ziel war es zunächst, die aktuellen Angebote von Altmetrics-Systemen aus Anwendersicht näher zu beleuchten und zu vergleichen. Außerdem wurde der Frage nachgegangen, inwieweit Altmetrics bereits Beachtung in der Medizin finden.


Material und Methoden

Erst eine Auswertung unterschiedlicher Kommunikationswege schärft das Abbild der Nutzung des Forschungsoutputs. Die Ermittlung von Nutzungszahlen aus der Vielfalt verschiedenartiger Publikationsformen, Artikel, Datensets, Blogposts, Online-Evaluationssysteme, soziale Netzwerke, ist mit enorm hohem Aufwand verbunden. Anbieter von Altmetrics-Diensten entwickeln Konzepte, wie verschiedenartige Kennzahlen auf einer Plattform integriert und zusätzliche Funktionalitäten für die Weiterverarbeitung bereitgestellt werden können. Zu den heute etablierten Services gehören PLoS Article-Level Metrics, ImpactStory, Altmetric und PlumAnalytics. Deren Angebote unterscheiden sich deutlich voneinander. Aus Sicht des Anwenders besonders wichtig sind Inhalte, Benutzbarkeit, Nachvollziehbarkeit und Offenheit der Systeme. Um die Services miteinander vergleichen zu können, entstand im Rahmen dieser Arbeit zunächst ein allgemeiner Kriterienkatalog. Dieser Katalog umfasst neun Vergleichskriterien (Abbildung 1 [Abb. 1]). Zu den inhaltlichen Aspekten zählen insbesondere die ausgewerteten Daten oder Artefakte, aber ebenso das Vorhandensein einer Klassifikation, die Nennung der Einzelmetriken sowie die Darstellung relativer Metriken für die Bewertung der Kennzahlen. Das Angebot von Schnittstellen, Rechercheoptionen und Monitoring bzw. Reporting beschreiben die Benutzbarkeit der Systeme. Transparenz bzw. Dokumentation kennzeichnen die Nachvollziehbarkeit der dargestellten Altmetrics-Informationen. Openness untersucht die Offenheit der Systeme für die Gemeinschaft. Für den Vergleich selbst wurden die Dokumentationen auf den Webseiten der ausgewählten Dienste und, sofern verfügbar, frei zugängliche Anwendungen genutzt.

Im zweiten Teil wurde eine Literaturrecherche in den medizinisch relevanten Datenbanken PubMed, Embase und Web of Science Core Collection (WoS) durchgeführt. Geprüft werden sollte, inwieweit der Begriff Altmetrics bereits Eingang in die klassische Zeitschriftenpublikation gefunden hat. Das Suchkonzept beinhaltete eine einfache Suche nach dem Stichwort „altmetric*“. Eine umfassende Recherche der gesamten Thematik war im Rahmen dieser Arbeit nicht beabsichtigt.


Ergebnisse

Welche Inhalte werden von den Systemen angeboten, wie sind diese nutzbar, nachvollziehbar und zugänglich? Antworten auf diese Fragen enthalten die folgenden Kurzbeschreibungen der vier Services. Die tabellarische Übersicht enthält eine Zusammenfassung (Tabelle 1 [Tab. 1]).

PloS Article-Level Metrics (ALMs) [22] bezeichnet ein Altmetrics-Tool der non-profit Verlagsorganisation Public Library of Science. Damit kann bereits seit 2009 die Wahrnehmung und Reichweite aller bei PLoS veröffentlichten Artikel gemessen werden. Das umfangreiche Set an Einzelmetriken gliedert sich in fünf Kategorien: Viewed, Saved, Discussed, Recommended, Citations. Jeder PLoS-Artikel enthält detaillierte Informationen zu den Einzelmetriken. PLOS ALM Relative Metrics gibt das Verhältnis Views/Downloads und eine mittlere Nutzung im Vergleich zu einer Gruppe relevanter Artikel an. Die Kennzahlen sind über unterschiedliche Wege zugänglich. In einer monatlich aktualisierten Übersicht werden sämtliche Daten als kumulativer Report zum Download zur Verfügung gestellt. Mit den ALM Reports steht außerdem ein komfortables System für die Recherche und Weiterverarbeitung der Ergebnisse zur Verfügung. Die Suche kann feldbezogen nach Kriterien wie beispielsweise Autoren, Institutionen, Ländern, aber auch Keywords durchgeführt werden. Die Ergebnisse lassen sich im csv-Format speichern und sind somit für eigene Analysen verwertbar. Eine Programmierschnittstelle zur Anwendungsprogrammierung (ALM API) und Visualisierung wird angeboten. Die Kennzahlen können wie die gesamte Public Library of Science kostenfrei unter einer Creative Commons Attribution License genutzt werden.

ImpactStory [23] startete 2011 zunächst als Projekt unter dem Namen Total-Impact und wird ebenfalls von einer non-profit Organisation angeboten. Die Nutzung war bislang kostenfrei. Zum Zeitpunkt des Vergleichs befand sich das System jedoch gerade in einer Änderungsphase. Seit September 2014 wird nun eine Subskriptionsgebühr erhoben. Erklärtes Ziel ist es, Wissenschaftler bei der Beobachtung des Impacts ihres gesamten Forschungs-Outputs zu unterstützen. Aktuell berücksichtigt werden sowohl klassische Zeitschriftenartikel und Preprints als auch Software Codes, Präsentationen, Videos und weitere Produkte. Registrierte Wissenschaftler können sich ein Profil anlegen, in welchem sie ihre Forschungsprodukte hinzufügen und deren Nutzungskennzahlen verfolgen können. Zusätzlich zeigen relative Metriken einen Bezug zu anderen in ImpactStory indexierten Publikationen an. Dabei wird unterschieden zwischen wissenschaftlichem Impact, zum Beispiel in Mendeley, und öffentlichem Impact, zum Beispiel auf Twitter. Die zugrunde liegenden Analyseverfahren werden in der sogenannten Knowledge Base erläutert. Beachtet werden sollte, dass ImpactStory nur einmal wöchentlich die Kennzahlen in den Wissenschaftlerprofilen aktualisiert und somit eher für die längerfristige Wirkungsmessung als für zeitnahe Information geeignet ist.

Altmetric [24] ist ein verlagsunabhängiger und subskriptionspflichtiger Dienst eines Start-up-Unternehmens für die Analyse von klassischen Publikationen. Die Einzelmetriken werden klassifiziert in Mentions und Readers. Die Metriken werden zusätzlich visualisiert in Form eines Donuts, wobei eine Farbe jeweils eine bestimmte Einzelmetrik kennzeichnet. Das bedeutet, je mehr verschiedene Farbsegmente ein Donut enthält, umso mehr Quellen erwähnen den betreffenden Artikel. Ein Gesamtscore soll auf einen Blick den Vergleich der Wahrnehmung ermöglichen. Der Score errechnet sich auf der Basis einer gewichteten Bewertung der Einzelmetriken. Die relative Bedeutung der verschiedenen Quellen wird durch unterschiedliche Wichtungsfaktoren dargestellt. Dabei wird angenommen, dass die unterschiedlichen Quellen auch eine unterschiedlich große Reichweite und Bedeutung erlangen und etwa die Nennung in Newspapers im Allgemeinen eine höhere Aufmerksamkeit im Vergleich zu einer Twittermeldung erzielt. Altmetric Badges ermöglichen dem Anwender, Online-Aktivitäten auf Artikelebene anzuzeigen. Zunehmend setzen Verlage, darunter bisher Wiley, Frontiers, Elsevier, Springer, BioMed Central und Nature Publishing Group Altmetric zur Anreicherung ihrer Publikationen mit Article-Level Metrics ein. Mit dem freien Bookmarklet „AltmetricIt“ können Wissenschaftler ein Tool im Web-Browser installieren, um sich Altmetric-Daten zu einem Artikel anzeigen zu lassen, sofern ein Document Object Identifier (DOI) vorhanden ist. Anwendbar ist dieser Service beispielsweise zur schnellen Information in Datenbanken, die selbst keine Altmetric-Kennzahlen integriert haben wie PubMed.

Als Startup-Unternehmen 2011 gegründet, wird Plum Analytics seit 2014 von EBSCO Information Services weitergeführt [25]. Das Produkt PlumX ist kostenpflichtig und richtet sich gezielt an Institutionen, die damit ein Werkzeug zur Evaluation ihres Forschungs-Outputs erhalten sollen. Dieser Output kann in unterschiedlichen Publikationsformen, sogenannten Artefakten, vorliegen. Darunter sind neben klassischen Publikationen auch Blog Posts, Präsentationen, Web-Seiten, Konferenzbeiträge und Poster. Die Einzelmetriken werden in den fünf Kategorien Usage, Captures, Mentions, Social Media und Citations klassifiziert. Plum Print visualisiert die Metrikinformationen und setzt sie zueinander in Beziehung. Eine Farbe steht jeweils für eine der fünf Kategorien. Die Größe der Kreise weist auf die relativen Anteile der Kategorien in Bezug zur Gesamtnutzung hin. Analysen können wahlweise auf Artefakt-Ebene, für Einzelwissenschaftler oder Arbeitsgruppen beziehungsweise Institute stattfinden. Mit Hilfe eines Widget Builders können Daten aus PlumX in andere Webseiten eingebaut werden.

Die Literaturrecherche im zweiten Teil der Untersuchung ergab mit dem Stand am 9. September 2014 in PubMed 12 Treffer, Embase 15 Treffer und WoS 27 Treffer. Abbildung 2 [Abb. 2] zeigt die jährliche Verteilung der Referenzen. Nach einem Duplikatecheck verblieben insgesamt 39 Publikationen. Anschließend wurde geprüft, ob die PubMed-Ergebnisse auch in Embase und WoS nachgewiesen sind (Anhang 1 [Anh. 1]). Dabei wurde festgestellt, dass vier Artikel in allen drei Datenbanken enthalten waren. Weitere vier Artikel wurden zweifach in PubMed und Embase gefunden, weitere zwei Artikel zweifach in PubMed und WoS sowie ein Artikel zweifach in Embase und WoS. 28 Artikel waren in jeweils nur einer Datenbank Artikel vertreten: zwei in Pubmed, sechs in Embase und 20 in WoS.

Die Auswertung der Zeitschriftentitel zeigte, dass in PubMed hauptsächlich interdisziplinäre Zeitschriften mit Beiträgen zu Altmetrics vertreten waren. Neben vier Nature-Artikeln und drei PLoS-One-Artikeln haben auch einzelne spezielle medizinische Fachzeitschriften das Thema aufgegriffen.

Die Treffermenge von 12 Referenzen in PubMed erscheint extrem gering. Eine Testrecherche nach „social media“ ergab hingegen 2.450 Referenzen. Eine Suche nach „twitter“ ergab 519 Referenzen. Dieses Ergebnis zeigt, dass die Thematik an sich in der medizinischen Community diskutiert wird und die Suche nach „altmetrics“ allein nicht repräsentativ sein kann. Eine Ursache hierfür liegt möglicherweise darin, dass der Begriff Altmetrics bisher eher in der bibliometrischen und szientometrischen Community verbreitet ist. Dies näher zu untersuchen, war jedoch nicht Gegenstand dieser Arbeit.


Diskussion und Fazit

Gemeinsam ist den untersuchten Altmetrics-Diensten ein vielfältiges Angebot an Metriken. Jedoch zeigen sich grundlegende Unterschiede in mehrfacher Hinsicht. Dazu gehören das analysierte Datenmaterial (Artefakte), die Auswahl von Einzelmetriken, Bewertungsverfahren, Schnittstellen, Reporting-Optionen und das jeweilige Geschäftsmodell. So ist PLoS ALMs als einziges Tool gänzlich frei zugänglich. Es lässt sich aber nur auf die Artikel des eigenen Verlages anwenden. Hingegen stellen die anderen drei Tools verlagsunabhängig Kennzahlen für unterschiedliche Publikationsformen (ImpactStory und Plum Analytics) oder für klassische Publikationen (Altmetric) bereit, sind aber kostenpflichtig. Differenzen bestehen in der Definition der Kategorien und der Auswahl und Zuordnung von Einzelmetriken. Wie in Tabelle 1 [Tab. 1] ersichtlich, werden zum Beispiel teilweise Views und Downloads getrennt kategorisiert (PLoS, ImpactStory), im Fall PlumX jedoch als Einzelmetriken in einer Kategorie zusammengefasst. Bei der Wichtung relativer Metriken werden unterschiedliche Konzepte verfolgt. Daher dürfen diese Kennzahlen nur innerhalb eines Systems verglichen werden. Wird zusätzlich ein Gesamtscore angegeben (Altmetric), suggeriert diese Tatsache dem Anwender die Möglichkeit einer leicht handhabbaren Wirkungsmessung. Tatsächlich jedoch wird aus einer einzigen Zahl nicht erkennbar, welche Kommunikationswege in welchem Maße genutzt wurden. Bewertungsverfahren sind in einer Knowledge Base oder auf einzelnen Webseiten dokumentiert, teilweise aber nur schwer auffindbar. Während PLoS ALMs sich an Wissenschaftler, Institutionen, Förderer und Verlage und somit an alle potentiellen Interessenten richtet, sieht Altmetric seine Nutzer in der Reihenfolge Verlage, Institutionen und Wissenschaftler. ImpactStory spricht bisher speziell die Wissenschaftler an, arbeitet jedoch an einem Angebot für Institutionen. PlumX ist speziell für die Analyse des institutionellen Forschungs-Outputs konzipiert.

Besonders auffallend ist die äußerst dynamische Entwicklung der Dienste innerhalb kurzer Zeit. Das Spektrum der erfassten Datenquellen, aber auch die Funktionalitäten verändern sich in rasanter Weise. Dies ist als Zeichen dafür anzusehen, dass sich die Beschäftigung mit Altmetrics noch in einer frühen experimentellen Phase befindet [26]. Einflüsse zeigen sich bei den integrierten Social Media als real-time-Kennzahlen unmittelbar. Im Unterschied zu Zitationen können sich Social Media-Kennzahlen auch wieder verringern. Als Beispiel sei hier Mendeley genannt. Löschen Nutzer ihr Profil oder einzelne Daten, wird dadurch eine Altmetrics-Bewertung direkt beeinflusst. Diese Schnelllebigkeit ermöglicht also nur eine Momentaufnahme des Impacts. Eine Nachhaltigkeit und Überprüfbarkeit zu einem späteren Zeitpunkt gestaltet sich nahezu unmöglich. Dies betrifft ebenso die Vergleichbarkeit, die normierte Strukturen und Prozesse voraussetzt. Normierungen fehlen jedoch bisher.

Welche Wirkung hat eine Nennung von Forschungsprodukten in den sozialen Medien? Lässt sich daraus auch ein wissenschaftlicher Impact bestimmen? Altmetrics vermögen zu zeigen, wie schnell aktuelle Forschungsergebnisse von der Fachwelt wahrgenommen werden. Damit bietet sich die Chance für zeitnahe individuelle (Trend-)Beobachtungen. Sie sind als Ergänzung zu den klassischen Zitationen zu verstehen und genau wie diese für Bewertungen mit großer Vorsicht anzuwenden. Für Forschungsevaluationen eignen sich die neuen Metriken in der heutigen Form nicht. Um die Spuren in der multidimensionalen Kommunikationslandschaft valide zu messen, werden neue Analysemethoden zu erforschen sein. Ein weiterer entscheidender Wandel deutet sich an. Indem soziale Medien nicht mehr nur fachbezogene sondern auch allgemeine Kommunikationswege umfassen, spiegelt die Nutzung dieser Medien gleichzeitig auch das Interesse der Gesellschaft an den Forschungsergebnissen wider. Ein ausführlicher Überblick über Vor- und Nachteile von Altmetrics findet sich bei Bornmann [27].

Fenner stellte bei einer Analyse der PLoS Article-Level Metrics fest, dass sich die Popularität von Altmetrics Quellen gleichermaßen ändert, wie sich wissenschaftliche Kommunikationsmuster im Lauf der Zeit ändern [28]. Zu dem am häufigsten genutzten sozialen Medium hat sich Twitter entwickelt [29]. Dieser Umstand begründet auch das vielfältige Interesse an Twitter als Untersuchungsobjekt. Eine wesentliche Frage beschäftigt sich mit dem Zusammenhang von Tweets und späteren Zitationen. Eysenbachs Untersuchung von Artikeln der Zeitschrift Journal of Medical Information Research [30] zeigte, dass zeitnahe Tweets innerhalb der ersten drei Tage nach der Veröffentlichung einer Publikation highly cited Artikel vorhersagen können. Für die Zitation einer Publikation in einem Tweet wurde der Begriff Tweetation eingeführt. Weiterhin wurde die Einführung eines Twimpact Factors twn vorgeschlagen. Eine andere Studie von Haustein stellte eine geringe Korrelation zwischen Tweets und Zitationen in der biomedizinischen Literatur fest [31]. Beeinflusst wurde der Zusammenhang durch die Unterstützung beziehungsweise Nichtunterstützung von Twitterfunktionen durch die Verlage. Zudem war das Motiv für einen Tweet nicht automatisch in wissenschaftlichen Ursachen zu finden, sondern konnte auch in der Aktualität oder Kuriosität eines medizinischen Themas liegen.

Der Terminus Altmetrics ist in der medizinischen Fach-Community noch nicht sehr verbreitet. Bibliotheken haben bereits umfangreiche Erfahrungen mit Nutzungszahlen elektronischer Medien und deren Analysen zur Bestandsoptimierung der Ressourcen. Sie beschäftigen sich zunehmend mit nicht-traditionellen Forschungsprodukten und setzen zur Verbreitung von Informationen Social Media ein. Daher ist es gut vorstellbar, dass Bibliotheken ihre Rolle als Informationsvermittler dazu nutzen, über Inhalte und Zusammenhänge, über Stärken und Schwächen von Altmetrics aufzuklären, um so zur Vermeidung von Fehlinterpretationen beizutragen. Wissenschaftler können zum Beispiel dahingehend beraten werden, wie sie am besten ihren CV mit Altmetrics-Informationen anreichern können [32]. Für Bibliotheken bietet sich damit eine gute Chance, sich als Partner in der Diskussion um neue Metriken und Verfahren für die Bewertung von Forschungsleistungen mit zu engagieren.


Anmerkung

Interessenkonflikte

Die Autorin erklärt, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel hat.


Literatur

1.
Jokic M, Ball R. Qualität und Quantität wissenschaftlicher Veröffentlichungen – Bibliometrische Aspekte der Wissenschaftskommunikation. Jülich: Forschungszentrum Jülich; 2006.
2.
Havemann F. Einführung in die Bibliometrie. Berlin: Gesellschaft für Wissenschaftsforschung; 2009.
3.
Marx W, Bornmann L. Der Journal Impact Factor: Aussagekraft, Grenzen und Alternativen in der Forschungsevaluation. Beiträge zur Hochschulforschung. 2012;34(2):50-66. Available from: http://www.bzh.bayern.de/uploads/media/2-2012-Marx-Bornmann.pdf External link
4.
Waldrop MM. Science 2.0. Scientific American. 2008; 298(5):68-73. DOI: 10.1038/scientificamerican0508-68 External link
5.
Nentwich M, König R. Cyberscience 2.0 – Research in the age of digital social networks. Fankfurt/New York: Campus; 2012.
6.
Leibniz-Forschungsverbund Science 2.0. Über uns [updated 2014 Oct 30; cited 2014 Nov 19]. Available from: http://www.leibniz-science20.de/ueber-uns/ External link
7.
San Francisco Declaration on Research Assessment (DORA) [cited 2014 Nov 19]. Available from: http://am.ascb.org/dora/ External link
8.
NPG begins offering article-level metrics. 2012 Oct 25 [cited 2014 Nov 19]. Available from: http://www.researchinformation.info/news/news_story.php?news_id=1038 External link
9.
The Cochrane Library: Website Updates 2013 – Additional functionality and features. [updated 2013 Dec 31; cited 2014 Nov 19]. Available from: http://www.thecochranelibrary.com/view/0/websitearchive2013.html External link
10.
Huggett S, Taylor M. Elsevier expands metrics perspectives with launch of new altmetrics pilots. Editor’s Update [Internet]. 2014 Mar 3;42. Available from: http://editorsupdate.elsevier.com/issue-42-march-2014/elsevier-altmetric-pilots-offer-new-insights-article-impact/ [cited 2014 Nov 19] External link
11.
Article impact in Frontiers. Democratic evaluation of the most outstanding research at Frontiers. In: Frontiers Blog. 2013 Feb 27 [cited 2014 Nov 19]. Available from: http://www.frontiersin.org/blog/Article_Impact_in_Frontiers/221 External link
12.
O’Neill C. Assessing research impact at the article level. In: BioMed Central Blog. 2012 May 25 [cited 2014 Nov 19]. Available from: http://blogs.biomedcentral.com/bmcblog/2012/05/25/assessing-research-impact-at-the-article-level/ External link
13.
Piwowar H. Altmetrics: Value all research products. Nature. 2013; 493:159. DOI: 10.1038/493159a External link
14.
Van de Belt TH, Engelen LJ, Berben SA, Schoonhoven L. Definition of health 2.0 and medicine 2.0 – A systematic review. J Med Internet Res. 2010; 12(2):e18. DOI: 10.2196/jmir.1350 External link
15.
Medicine 2.0 – world congress on social media, mobile apps, and internet/web 2.0. [cited 2014 Nov 19]. Available from: http://www.medicine20congress.com/ocs/index.php/med/ External link
16.
Health 2.0 conferences [cited 2014 Nov 19]. Available from: http://www.health2con.com/events/ External link
17.
Priem J, Hemminger BM. Scientometrics 2.0 – Toward new metrics of scholarly impact on the social web. First Monday. 2010;15(7). Available from: http://firstmonday.org/article/viewArticle/2874/2570 External link
18.
Priem J. Twitter post. 2010 Sep 20, 19:28 [cited 2014 Nov 19]. Available from: https://twitter.com/jasonpriem/status/25844968813 External link
19.
Priem J, Taraborelli D, Groth P, Neylon, C. Altmetrics – A manifesto (V 1.0). 2010 Oct 26 [cited 2014 Nov 19]. Available from: http://altmetrics.org/manifesto External link
20.
Bailey K. ACRL STS Hot Topics Group Discussion. In: ALA Connect. 2014 Jan 9 [cited 2014 Nov 19]. Available from: http://connect.ala.org/node/216512 External link
21.
Bibliometrie2014. 2. Internationale Konferenz und Fachmesse „Altmetrics: Was folgt auf die klassische Bibliometrie?“ [cited 2014 Nov 19]. Available from: http://www.uni-regensburg.de/bibliothek/veranstaltungskalender/bibliometrie2014/index.html External link
22.
PLoS – Article-Level Metrics [cited 2014 Nov 19]. Available from: http://article-level-metrics.plos.org/ External link
23.
ImpactStory – Our metrics [cited 2014 Nov 19]. Available from: https://impactstory.org/metrics External link
24.
Altmetric – We make article level metrics easy [cited 2014 Nov 19]. Available from: http://www.altmetric.com/ External link
25.
Plum Analytics – Measuring research impact [cited 2014 Nov 19]. Available from: http://www.plumanalytics.com/ External link
26.
Zahedi Z, Costas R, Wouters P. How well developed are altmetrics? A cross-disciplinary analysis of the presence of “alternative metrics” in scientific publications. Scientometrics. 2014; 101(2):1491-1513. DOI: 10.1007/s11192-014-1264-0 External link
27.
Bornmann L. Do altmetrics point to the broader impact of research? Journal of Informetrics Preprint. arXiv. 2014:1406.7091. v2 [updated 2014 Sep 10]. Available from: http://arxiv.org/abs/1406.7091
28.
Fenner M, Lin J. Novel Research Impact Indicators. LIBER Quarterly. 2014; 23(4):300-9.
29.
Thelwall M, Haustein S, Larivière V, Sugimoto CR. Do altmetrics work? Twitter and ten other social web services. PLoS ONE. 2013;8(5):e64841. DOI: 10.1371/journal.pone.0064841 External link
30.
Eysenbach G. Can tweets predict citations? Metrics of social impact based on twitter and correlation with traditional metrics of scientific impact. J Med Internet Res. 2012;13(4):e123. DOI: 10.2196/jmir.2012 External link
31.
Haustein S, Peters I, Sugimoto CR, Thelwall M, Larivière V. Tweeting biomedicine – An analysis of tweets and citations in the biomedical literature. JASIST. 2014 Apr; 65(4):656-69. DOI: 10.1002/asi.23101 External link
32.
Ten reasons you should put altmetrics on your CV right now. In: ImpactStory blog. 2014 Jun 12 [cited 2014 Nov 19]. Available from: http://blog.impactstory.org/altmetrics-on-a-cv/ External link