gms | German Medical Science

Kongress Medizin und Gesellschaft 2007

17. bis 21.09.2007, Augsburg

Paarweise versus simultane Übereinstimmung bei multiplen Kappa-Koeffizienten: eine interessante Kongruenz

Meeting Abstract

Suche in Medline nach

  • Marcus Kutschmann - Universität Bielefeld, Bielefeld
  • Ingo Langner - Bremer Institut für Präventionsforschung und Sozialmedizin, Bremen

Kongress Medizin und Gesellschaft 2007. Augsburg, 17.-21.09.2007. Düsseldorf: German Medical Science GMS Publishing House; 2007. Doc07gmds225

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gmds2007/07gmds225.shtml

Veröffentlicht: 6. September 2007

© 2007 Kutschmann et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Einleitung: Der Kappa-Koeffizient von Cohen [1] ist ein in der klinischen Forschung weit verbreiteter Index zur Berechnung der Übereinstimmung zwischen zwei Gutachtern, die Objekte oder Individuen mit Hilfe eines vorgegebenen Kategoriensystems klassifizieren [2]. Weiterentwicklungen zur Berücksichtigung von mehr als zwei Gutachtern stellen sich häufig als eine Funktion paarweiser Übereinstimmungen dar (siehe z. B. [3]). Eine kaum diskutierte Alternative besteht in der Betrachtung der simultanen Übereinstimmung aller Gutachter (siehe z. B. [4]). In diesem Beitrag wird für den Fall von drei Gutachtern eine interessante Kongruenz zwischen beiden Herangehensweisen aufgezeigt.

Methode: Beim paarweisen Ansatz werden der multiple beobachtete (B) und zufallsmäßig zu erwartende Übereinstimmungsanteil (E) als Mittelwerte der entsprechenden Übereinstimmungsanteile der drei Gutachterpaarungen bestimmt. Dagegen werden beim simultanen Ansatz B und E nicht, wie beim paarweisen Ansatz, über die drei Kontingenztafeln für die möglichen drei Gutachterpaare, sondern über einen Kontingenzwürfel für das Gutachtertrio berechnet. Durch Einsetzen von multiplem B und E in die Formel nach Cohen [1] ergibt sich dann jeweils der multiple Kappa-Koeffizient. Hier werden für den Fall dreier Gutachter, die anhand von zwei Kategorien beurteilen, B, E und Kappa beider Ansätze miteinander verglichen.

Ergebnisse: Es zeigt sich, dass unabhängig von der Anzahl der begutachteten Objekte beide Ansätze immer identische Werte für Kappa liefern. Dies erstaunt zunächst, da im konkreten Bewertungsfall in beiden Ansätzen unterschiedliche Werte für B bzw. E resultieren. Anhand einiger ausgewählter Bewertungsmuster wird dies für verschiedene Anzahlen von Objekten exemplarisch aufgezeigt. Außerdem wird erläutert, wie sich die Gleichheit beider Ansätze auch allgemein beweisen lässt.

Diskussion: Als Nachteil des simultanen Ansatzes gegenüber dem paarweisen Ansatz wird angeführt (siehe z. B. [4]), dass B schon dann sehr klein werden kann, wenn nur einer der Gutachter deutlich anders urteilt als die anderen. Zumindest bei dem hier betrachteten Fall hat dies aber keine unterschiedlichen Werte für den multiplen Kappa-Koeffizienten zur Folge.


Literatur

1.
Cohen J. A coefficient of agreement for nominal scales. Educational and Psychological Measurement. 1960;20:37-46.
2.
Lantz CA, Nebenzahl E. Behavior and interpretation of the kappa statistic: resolution of the two paradoxes. Journal of Clinical Epidemiology. 1996;49:431-4.
3.
Schouten HJA. Measuring pairwise interobserver agreement when all subjcts are judged by the same observer. Statistica Neerlandica. 1982;36:45-61.
4.
Conger AJ. Integration and generalization of kappas for multiple raters. Psychological Bulletin. 1980;88:322-8.