gms | German Medical Science

51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (gmds)

10. - 14.09.2006, Leipzig

Systematische Analyse von Qualitätsindikatoren im Patientenregister des Kompetenznetz Parkinson und Erfassung der Reaktionen aus den Mitgliedszentren auf verschiedene Feedback-Methoden

Meeting Abstract

  • Gisela Antony - Philipps-Universität Marburg, Kompetenznetz Parkinson, Marburg
  • M. Nonnemacher - IMIBE, Essen
  • J. Stausberg - IMIBE, Essen
  • K. Eggert - Philipps-Universität Marburg, Marburg
  • WH Oertel - Philipps-Universität Marburg, Marburg

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (gmds). 51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Leipzig, 10.-14.09.2006. Düsseldorf, Köln: German Medical Science; 2006. Doc06gmds375

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gmds2006/06gmds193.shtml

Veröffentlicht: 1. September 2006

© 2006 Antony et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Einleitung und Fragestellung

Der Nutzen krankheitsbezogener wissenschaftlicher Kohortenstudien und Register, wie sie u.a. in den Kompetenznetzen in der Medizin aufgebaut werden, hängt ganz wesentlich von der Qualität der dort erfassten Daten ab. Zur effizienten Sicherstellung einer hohen Datenqualität sind wissenschaftlich abgesicherte Methoden und Verfahren erforderlich.

Im Rahmen des Projektes „Entwicklung, Umsetzung und Evaluation von Leitlinien zum adaptiven Management von Datenqualität in Kohortenstudien und Registern – Teil 1: Entwicklung und Umsetzung der Leitlinien“ [1] wird die Entwicklung entsprechender Leitlinien durch das Institut für Medizinische Informatik, Biometrie und Epidemiologie (IMIBE) am Universitätsklinikum Essen unter Projektleitung von Dipl.-Inf. Michael Nonnemacher und PD Dr. Jürgen Stausberg von der Telematikplattform für Medizinische Forschungsnetze (TMF) e.V. gefördert. Innerhalb dieses Projektes werden gezielt zwei Maßnahmen herausgegriffen, die sich als besonders relevant erwiesen haben: der Originaldatenabgleich (Source Data Verification , SDV) und das Feedback. Weder für die SDV noch für das Feedback liegen jedoch bisher klare Verfahrensanweisungen für die Verwendung in Kohortenstudien oder Registern vor.

Mangelnde Praktikabilität und Finanzierungsmöglichkeiten verhindern in aller Regel eine komplette Überprüfung der in Kohorten und Registern erfassten Daten. Das Projekt fokussiert sich entsprechend auf die Erstellung eines adaptiven Konzeptes, dass die Aktivitäten zur Qualitätsprüfung jeweils an die Datenqualität anpasst.

Als Basis für diesen adaptiven Prozess wurden Datenqualitätsindikatoren identifiziert, die aus den Daten eines Registers oder einer Kohorte direkt erhoben werden können. Insgesamt wurden 24 Indikatoren zur Datenqualität definiert und unter die Kategorien Plausibilität, Organisation und Richtigkeit subsummiert. Für jeden einzelnen Indikator wurde darüber hinaus ein individueller Schwellenwert zur Unterscheidung von „auffälligen“ und „unauffälligen“ Indikatorwerten empfohlen. Aus Mangel an evidenz-basierten Empfehlungen für die Schwellenwerte von Qualitätsindikatoren wurden die in der Leitlinie angegebenen Werte aus Erfahrungswerten abgeleitet, die aus klinischen Studien und Registern stammen.

Material und Methoden

Um diese theoretischen Schwellenwerte durch empirisch gewonnene Werte zu ergänzen und gleichzeitig die Wirkung dreier unterschiedlicher Feedback-Methoden zu erproben, wurden die im Patientenregister des Kompetenznetz Parkinson (KNP) enthaltenen Daten hinsichtlich der Qualitätsindikatoren zur Plausibilität einer ausführlichen Analyse unterzogen [2]. Die Rückmeldung der empirischen Qualitätskennzahlen an die 30 in der Datenerfassung aktiven Mitgliedszentren des KNP wurde in einen dreistufigen Studienplan integriert, der drei verschiedene Feedback-Methoden hinsichtlich ihrer a)Wirkung auf die angeforderte Korrektur der bereits erfassten Daten mit b)Wirkung eines Zwischen-Feedbacks und c)Wirkung hinsichtlich einer Qualitätsverbesserung der zukünftig zu erfassenden Daten kombiniert.

Als Baseline (Messpunkt 1) diente der Datenbestand des Patientenregisters des Kompetenznetz Parkinson vom 15.01.2006 mit 6.306 Datensätzen von 5.053 Patienten und Kontrollen.

Die Rückmeldung der Qualitätskennzahlen und Aufforderung zur Korrektur der bereits erfassten Daten wurde mit der bevorstehenden umfangreichen Revision des Minimal Data Set des Patientenregisters begründet. Die Zentren wurden nicht darüber informiert, dass ihre Reaktionen gleichzeitig für eine wissenschaftliche Bewertung von Feedback-Methodiken verwendet werden, um diese störende Einflussgröße zu eliminieren.

Für das Feedback der ersten Qualitätskennzahlen basierend auf dem Datenbestand der Baseline wurden die 30 Zentren anhand ihrer Patienten-Rekrutierungszahlen in eine Rangfolge gebracht und gleichmäßig auf die drei zu untersuchenden Feedback-Methoden verteilt. Für jedes einzelne Zentrum wurde ein individuelles, spezifisches Feedback-Paket mit ausführlichen Korrekturanweisungen und Qualitätsrückmeldungen erarbeitet. Je nach Feedback-Gruppe wurden den Zentren darüber hinaus

  • in der Feedback-Gruppe 1 nur die eigenen Ergebnisse,
  • in der Feedback-Gruppe 2 die eigenen Ergebnisse zusammen mit anonymisierten Vergleichszahlen (Qualitätsindikatoren und –scores der anderen Zentren) und
  • in der Feedback-Gruppe 3 die eigenen Ergebnisse zusammen mit offenen Vergleichszahlen

bekannt gegeben.

Ergebnisse

Empirisch gewonnene Qualitätsindikatoren:

Die anhand des Datenbestandes des Patientenregisters des KNP empirisch erhobenen Schwellenwerte für die Qualitätsindikatoren der Plausibilität fallen für einzelne Indikatoren deutlich geringer aus als die theoretisch aus Erfahrungswerten abgeleiteten. Eine Schärfung der in der Leitlinie empfohlenen Werte wäre zu diskutieren.

Wirksamkeit von Feedback-Strategien:

Nach einem Zeitraum von 14 Tagen wurde das Patientenregister einer erneuten Analyse hinsichtlich der Qualitätsindikatoren unterzogen (Messpunkt 2) und die Werte mit denen der Baseline verglichen. Die ersten vorläufigen Ergebnisse erlauben noch keine Angabe einer Präferenz für eine der verwandten Feedback-Strategien. Es ergeben sich jedoch schon deutliche hypothetische Hinweise darauf, dass sich ein Feedback von Qualitätskennzahlen an die Daten erfassenden Zentren per se positiv auf die Bereitwilligkeit zur Korrektur von Daten auswirkt [3], [4] und Zentren mit einem hohen Datenanteil am zentralen Patientenregister kurzfristigen Korrekturaufforderungen bereitwilliger folgen.

Diskussion

Es lässt sich feststellen, dass die Qualitätskennzahlen der Daten im Patientenregister des KNP punktuell deutlich besser ausfallen, als aufgrund der in der Leitlinie empfohlenen Schwellenwerte zu erwarten war.

Für eine tragfähige Bewertung der Wirkung verschiedener Feedback-Methoden erweist sich ein Reaktionszeitraum von 14 Tagen für ein Kompetenznetz, dessen Mitgliedszentren ohne Honorierung ehrenamtlich arbeiten, als zu kurz.

Robustere Ergebnisse wird der Messpunkt 3 mit einem Abstand von 8 Wochen zur Baseline liefern. Für die Stufe 2 des Studienplans wird darüber hinaus zur Zeit für jeweils die Hälfte der in die 3 Feedback-Gruppen eingeteilten Zentren ein zusätzliches Zwischen-Feedback erarbeitet, das auf der Basis des Messpunktes 1 aktualisierte zentrumsspezifische Korrekturanweisungen zur Verfügung stellt. Mit dieser Maßnahme soll die Wirkung einer nochmaligen Erinnerung überprüft werden.

Stufe 3 des Studienplans schließlich bezieht sich nicht auf den Effekt von Feedbacks auf die Korrektur bereits erfasster Daten, sondern fokussiert sich auf die mögliche prospektive Wirkung unterschiedlicher Feedback-Methoden. In die Datenanalyse der Qualitätskennziffern werden ausschließlich diejenigen Datensätze eingehen, die seit dem ersten Feedback neu erfasst werden.


Literatur

1.
Nonnemacher M, Stausberg J. Leitlinie zum adaptiven Management von Datenqualität in Kohortenstudien und Registern. Version 1.0. Essen, 31.03.2006
2.
Antony G. Ermittlung von identifizierten Qualitätsindikatoren im Register des Kompetenznetz Parkinson mit dem Schwerpunkt Plausibilität und systematische Erfassung und Analyse der Reaktionen aus den Erhebungszentren auf ein Qualitäts-Feedback der erfassten Daten. Unterauftrag des Projektes zur Entwicklung, Umsetzung und Evaluation von Leitlinien zum adaptiven Management von Datenqualität in Kohortenstudien und Registern. Version 0.1. Marburg, 31.03.2006
3.
Selbmann HK. Die sozialmedizinischen Komponenten des Qualitätsmanagements und was die Sozialmedizin aus dem Qualitätsmanagement lernen kann. Vortrag anlässlich der Verleihung der Salomon-Neumann-Medaille der Deutschen Gesellschaft für Sozialmedizin und Prävention 1999. Gesundheitswesen 2000;62: 123-6
4.
Häussler C. Datenqualität. In: Martin W (Hrg.). Data Warehousing. Bonn ITP 1998:75-89