gms | German Medical Science

53. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

15. bis 18.09.2008, Stuttgart

Beurteiler-Übereinstimmung bei der Bewertung von Abstracts für das 16. Cochrane Colloquium

Meeting Abstract

Search Medline for

  • Martin Jäger - Deutsches Cochrane Zentrum, Freiburg, Deutschland
  • Antje Timmer - Deutsches Cochrane Zentrum, Freiburg, Deutschland

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. 53. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds). Stuttgart, 15.-19.09.2008. Düsseldorf: German Medical Science GMS Publishing House; 2008. DocSTUD2-3

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/meetings/gmds2008/08gmds252.shtml

Published: September 10, 2008

© 2008 Jäger et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Einleitung und Fragestellung

Abstracts, die zu einer Veranstaltung eingereicht werden, werden in der Regel von mehreren fachkundigen Personen bewertet. Die Reliabilität der verschiedenen Beurteiler untereinander soll im Folgenden anhand von bewerteten Abstracts untersucht werden, die im Rahmen des 16. Cochrane Colloquiums (3. bis 7. Oktober in Freiburg im Breisgau) eingereicht wurden.

Material und Methoden

Jedes Abstract wurde von zwei Mitgliedern des 41-köpfigen Abstract Committees bewertet. Die Beurteiler wurden danach ausgewählt, dass sie mit der Thematik des jeweiligen Abstracts vertraut waren und die Verfasser möglichst nicht kannten. Darüberhinaus waren sie gegenüber den Autoren der Abstracts verblindet. Jedes Abstract konnte entweder für den mündlichen Vortrag (oral) oder als Poster angenommen werden oder es wurde abgelehnt (reject).

Die Abstracts wurden beurteilt nach ihrer Relevanz für die Cochrane Collaboration (Relevance to the Cochrane Collaboration), der wissenschaftlichen Qualität (Scientific Quality), der Originalität (Originality) und der Verständlichkeit (Clarity). Pro Kategorie wurden 0 bis 5 Punkte vergeben, sodass insgesamt bis zu 20 Punkte möglich waren.

Das Maß der Übereinstimmung der Beurteiler wurde anhand des gewichteten Kappa-Koeffizienten (κw) und der unjustierten, einfaktoriellen Intraklassenkorrelation (ICCunjust,einfak, im Folgenden: ICC) bewertet. Die Bewertung der Güte der Ergebnisse erfolgt in Anlehnung an Landis und Koch [1].

Es wurden die Unterschiede zwischen den Beurteilern sowohl innerhalb der einzelnen Bewertungskategorien als auch bei der Gesamtpunktzahl betrachtet. Außerdem wurde in den einzelnen Kategorien ausgewertet, wie häufig beide Beurteiler genau übereinstimmten (100%-Agreement).

In die Untersuchung eingeflossen sind nur Abstracts, die nicht Ergebnis systematischer Übersichtsarbeiten (Ausschlusskriterium) waren.

Für die drei Ergebnisse oral, poster und reject wurde untersucht, wie sehr sich die Verteilung der Gesamtpunktzahl unterscheidet.

Ergebnisse

40 verschiedene Personen haben insgesamt 301 Abstracts bewertet. Die Ergebnisse der Untersuchung sind in Tabelle 1 [Tab. 1] aufgeführt.

Aktuell läuft die Zuteilung der Abstracts in die Kategorien oral, poster und reject. Abgeschlossen ist dieser Prozess derzeit für 87 Reviews. Der Median der Abstracts, die bisher in die Gruppe oral einsortiert wurden, liegt bei 16 Punkten, für poster und reject beträgt er jeweils 12 Punkte (siehe Abbildung 1 [Abb. 1]).

Diskussion

Wenngleich die exakte Übereinstimmung zwischen zwei Beurteilern deutlich häufiger, als rein durch den Zufall bestimmt, auftritt, lassen die vorliegenden Ergebnisse erkennen, dass Verbesserungen bei der einheitlichen Bewertung von Abstracts unabdingbar notwendig sind, da die Beurteiler in ihren Bewertungen sehr stark differieren.

Um genauere Aussagen über die Gründe der schwachen Beurteiler-Übereinstimmung [1] treffen zu können, werden weitere Untersuchungen durchgeführt.

Die Verteilung der Punktzahlen zeigt einen deutlichen Güteunterschied zwischen den Formen der angenommen Abstracts. Außerdem ist zu erkennen, dass die Qualität der abgelehnten Abstracts stark streut.

Ob aus den geringen Übereinstimmungen Nachteile oder aufgrund verschiedener Sichtweisen der Beurteiler Vorteile für die Autoren der eingereichten Beiträge erwachsen, geht aus den erhobenen Daten nicht hervor und muss eingehender geprüft werden.


Literatur

1.
Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977; 33: 159–74.