gms | German Medical Science

GMDS 2014: 59. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

07. - 10.09.2014, Göttingen

Eignung verschiedener Studiendesigns zur Ableitung von Referenzen der Ergebnisqualität in der Routineversorgung – Gegenüberstellung und Illustration am Beispiel der ambulanten Kataraktchirurgie

Meeting Abstract

Suche in Medline nach

  • U. Hahn - Fakultät für Gesundheit der Universität Witten/Herdecke, Witten
  • F. Krummenauer - Institut für Medizini-sche Biometrie und Epidemiologie, Fakultät für Gesundheit der Universität Wit-ten/Herdecke, Witten

GMDS 2014. 59. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS). Göttingen, 07.-10.09.2014. Düsseldorf: German Medical Science GMS Publishing House; 2014. DocAbstr. 107

doi: 10.3205/14gmds145, urn:nbn:de:0183-14gmds1456

Veröffentlicht: 4. September 2014

© 2014 Hahn et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Einleitung: Qualitätssicherungsverfahren bewerten die erreichte individuelle Ergebnisqualität auf Basis von Referenzen, entlang derer akzeptable von nicht akzeptabler Versorgungsqualität abgrenzbar sein soll. Trotz der entsprechenden Bedeutung solcher Referenzen fehlt jedoch eine anerkannte Methodik zur Ableitung der „richtigen“ Referenzhöhe. Auch für die zwei gesetzlich verpflichtenden Qualitätssicherungsverfahren nach § 137 Sozialgesetzbuch fehlt eine entsprechende Präzisierung. Gleichzeitig ist die Bandbreite der in der Literatur berichteten Werte, die als Referenzen oder Benchmarks firmieren, heterogen und damit nicht ungefiltert für Qualitätssicherungsverfahren verwendbar. In dieser Arbeit wurde die Eignung zweier Studiendesigns zur Ableitung von Referenzen der Ergebnisqualität anhand selbst entwickelter Kriterien geprüft, konkret mittels:

  • eines klinisch-epidemiologischen Studiendesigns mit selektierenden Ein- und Ausschlusskriterien, Standardisierung der Diagnostik und Therapie sowie Vorgaben für die beteiligten Leistungserbringer
  • einer unter Alltagsbedingungen vollerhebend dokumentierenden Registerdatenbank.

Material und Methoden: Die Prüfung erfolgt auf Basis von zwei zu obigen Studiendesigns kompatiblen Datenbanken zur Ergebnisqualität der ambulanten Kataraktchirurgie. Mit beiden Datenbanken wurden vergleichbare Merkmale zu gleichen Untersuchungsterminen erfasst. Das klinisch-epidemiologische Studiendesign entspricht einer in 2007/2008 umgesetzten multizentrischen Kohortenstudie mit ausschließlich „best cases“, die von hoch erfahrenen Operateuren unter vorgegebenen optimalen therapeutischen und diagnostischen Rahmenbedingungen versorgt wurden (Eigenname „Benchmarkstudie“) [1]. Fünf der sieben an dieser Benchmarkstudie beteiligten Studienzentren realisierten seit 2005 eine multizentrische prospektive Registerstudie (Eigenname „MONItoring in der ambulanten Kataraktoperation“, „MONIKA“) zur laufenden Überwachung der Ergebnisqualität [2]. In folgende Analyse gehen nur Daten der MONIKA Datenbank aus 2007/2008 ein. Die Ergebnisqualität wurde für zwei etablierte Indikatoren drei Monate nach OP anhand von Auftrittshäufigkeiten nebst lokalen 95 %-Konfidenzintervallen entlang der effektiven Fallzahl quantifiziert: „Refraktive Treffsicherheit“ (RT) beschreibt die Abweichung von intendiertem zu erzieltem Rest-Brechkraftfehler (Erfolg: absolute Abweichung maximal 0,5 dpt). „Visuelle Rehabilitation“ (VR) beschreibt die postoperative best-korrigierte Sehschärfe (Erfolg: korrigierter Visus mindestens 1,0). Die Eignungsprüfung erfolgte entlang folgender Kriterien:

1.
Gehen von den unter dem jeweiligen Studiendesign ermittelten Referenzen Anreize zur Qualitätsverbesserung aus?
2.
Ist die Referenz geeignet, trennscharf Qualitätsunterschiede der Versorgung zu detektieren?
3.
Sind sie ubiquitär einsetzbar?

Ergebnisse: Die Zahl der Rohdatensätze in der MONIKA Datenbank (Registerstudie) überschritt die der Benchmarkstudie (klinisch-epidemiologisches Studiendesign) um das 11-fache (19.278 zu 1.685), die Vollständigkeit war jedoch deutlich niedriger (26,8% zu 92,2%). Die soziodemografischen Merkmalsverteilungen (Alter bei OP, Geschlechterverhältnis) entsprachen sich weitgehend. 40% der MONIKA Datensätze entsprachen nicht den Vorgaben des Ein- und Ausschlussprofils der Benchmarkstudie: sie wiesen z.B. andere ophthalmologische Vorerkrankungen neben der Katarakt auf.

Die Erfolgsraten zu beiden Ergebnisindikatoren lagen bei MONIKA lokal signifikant unter denen der Benchmarkstudie (RT: MONIKA 69% (95%-KI 68–70%), Benchmarkstudie 80 % (95%-KI 77–83 %); VR: MONIKA 48% (95%-KI 46–50%), Benchmarkstudie 62% (95%-KI 60–65%). Auch nach Risikoadjustierung verblieb es zum Indikator VR bei einer signifikanten Abweichung zu Lasten der MONIKA Datenbank (56%, 95%-KI 54–58%).

Diskussion: Eine Referenz setzt Anreize zur Qualitätsverbesserung für nachfolgende Studien, wenn sie (überdurchschnittlich) gute Versorgungsqualität widerspiegelt. Ein mit einer Registererhebung ermitteltes Lagemaß bildet den Status quo der Versorgungsqualität ab und hat damit nur begrenzte Anreizwirkung. Im obigen Beispiel zeigte sich, dass in der „vollerhebenden“ MONIKA Datenbank niedrigere Erfolgsraten dokumentiert wurden als in der „selektiv rekrutierten“ Benchmarkstudie. Größere Potentiale bieten Referenzen aus Studien mit Vorauswahl der referenzgebenden Leistungserbringer und Standardisierung der Diagnostik und Therapie auf einen von Fachleuten als gut anerkannten Standard: In der Benchmarkstudie wurden ausschließlich hoch erfahrene Operateure zugelassen.

Zur Detektion von Qualitätsunterschieden: Eine Referenz soll selektiv nur den ärztlichen Beitrag bzw. denjenigen des Versorgungsprozesses an der Versorgungsqualität abbilden; der Einfluss von externen, vom Arzt bzw. der medizinischen Versorgungseinrichtung nicht beeinflussbaren, Faktoren auf die gemessene Ergebnisqualität muss gering gehalten werden. Dies ist umso wichtiger, je heterogener die verglichenen Versorgungseinrichtungen sind (Stichwort: sektorenübergreifende Qualitätssicherung). Die Ausgrenzung externer Faktoren ist aufgrund der größeren Studiendisziplin, der ex ante Ein- und Ausschlusskriterien und der stringenteren Datenerfassung in einem klinisch-epidemiologischen Studiendesign (Beispiel: Benchmarkstudie) besser zu realisieren als in einer Register-artigen Erhebung. Die Registerhebung MONIKA bestätigt die in der Literatur beschriebenen strukturellen Probleme dieses Datenbanktyps, nämlich geringere Datenvollständigkeit und Datenvalidität.

Zur ubiquitären Anwendbarkeit: Die Selektion und Standardisierung des klinisch-epidemiologischen Studiendesigns verhindert eine direkte Übertragbarkeit der abgeleiteten Kennwerte auf „beliebige“ Versorger bzw. Versorgungskonstellationen. Theoretisch kann zwar beides in einer nachfolgenden Registererhebung via Risikoadjustierung nachgebildet werden. Je komplexer der Referenzgeber, umso höher sind jedoch die Dokumentations-Anforderungen, die zu erwartende Zahl nicht verwertbarer Datensätze (im Vergleich Benchmarkstudie und MONIKA 40%), der Aufbereitungsaufwand der Datenbank und die Manipulationsgefahr. Zudem ist die Standardisierung der Versorgung nur partiell übertragbar: In der Benchmarkstudie kam z.B. ein mit besseren refraktiven Ergebnissen assoziiertes Verfahren zur präoperativen Augenvermessung (IOL-Master) zur Anwendung, das von den gesetzlichen Kostenträgern nicht übernommen wird. Referenzen aus selektierend rekrutierenden Studien auf anders konfigurierte nachfolgende Qualitätssicherungsprojekte sind damit nur bedingt und mit erheblichem Aufwand übertragbar. Gleichzeitig ist der niedrigere Standardisierungsgrad von Registerstudien mit geringeren Übertragungshindernissen der daraus ermittelten Referenzen auf nachfolgende Qualitätssicherungsverfahren verbunden.

Omnibusreferenzen sind somit aus keiner der beiden vorgeschlagenen Quellen ableitbar: Während mit ersterem Studiendesign gewonnene Referenzen unter den Kriterien „Anreize für Verbesserung der Versorgungsqualität“ und „Detektion von Versorgungsunterschieden“ zu bevorzugen sind, sind sie nicht ubiquitär einsetzbar. Im Ergebnis müssen referenzgebende Studien Merkmale der beiden hier betrachteten idealtypischen Studiendesigns kombinieren: Um Anreize zur Qualitätsverbesserung zu setzen, sollten nur als gut anerkannte Leistungserbringer bzw. auch in Alltagsversorgungssituationen einsetzbare gute Standards der Diagnostik und Therapie eingebunden werden. Liegen nur Registererhebungen als potentielle Referenzgeber vor, muss von den ermittelten Erfolgsraten auf eine Referenz extrapoliert werden. Mit dem Lösungsansatz aus dem Modellprojekt „Benchmarking im Gesundheitswesen“ des Bundesministerium für Gesundheit steht ein Ansatz zur Verfügung: Aus den Ergebnissen einer Registererhebung werden (nach Risikoadjustierung) nur die Ergebnisse der jeweils besten Leistungserbringer zur Referenz erklärt. Entscheidend ist, dass die Art der Ableitung der Referenzen offen adressiert wird. Referenzen sind die entscheidenden Stellgrößen in Qualitätssicherungsverfahren; ihre Herleitung und die Grenzsetzung setzen dazu eine hinreichende Transparenz voraus.


Literatur

1.
Hahn U, Krummenauer F, Kolbl B, Neuhann T, Schayan-Araghi K, Schmickler S, von Wolff K, Weindler J, Will T, Neuhann I. Determination of Valid Benchmarks for Outcome Indicators in Cataract Surgery A Multicenter, Prospective Cohort Trial. Ophthalmology. 2011;118(11):2105-12.
2.
Hahn U, Neuhann I, Scharrer A, Schayan-Araghi K, Schmickler St, Weindler J, Krummenauer F. Patientenmerkmale und Ergebnisqualitt der Kataraktchirurgie Ergebnisse aus einer Registerdatenbank. In: D.O. Gesellschaft, editor. Der Ophthalmologe - Abstracts zum 110. Kongress der Deutschen Ophthalmologischen Gesellschaft e.V. 2012. p.108.
3.
Kastenholz H, Geraedts M, Selbmann H. Benchmarking im Gesundheitswesen; ein Instrument zur Qualittsverbesserung setzt sich durch. Z Evid Fortbild Qual Gesundhwesen (ZEFQ). 2011;105(5):329-30.