gms | German Medical Science

Einleitung: Eine häufige Forderung an Qualitätsindikatoren ist, dass sie einen zuverlässigen und fairen Vergleich zwischen verschiedenen Einrichtungen und über die Zeit erlauben sollen. Wichtig sind sie z.B. beim Benchmarking und bei der Verlaufsdarstellung von Qualität oder für eine öffentliche Berichterstattung. Die Gütekriterien „Diskriminationsfähigkeit“, „Reliabilität“ und „Risikoadjustierung“ sind wichtige Voraussetzungen, um diese Vergleichbarkeit sicherzustellen. Im Beitrag werden die für das QUALIFY-Instrument entwickelten Definitionen, Operationalisierungen und das Bewertungsverfahren für diese drei von insgesamt 20 Gütekriterien vorgestellt.

Methoden: In einem Review wurden die in der Literatur verfügbaren Definitionen zusammengetragen, verglichen, bewertet und schließlich eine Definition für das QUALIFY-Instrument hergeleitet. Die Definitionen wurden operationalisiert und die Operationalisierung in einer Prozessbeschreibung festgehalten. Schließlich wurde ein Bewertungsverfahren ergänzt, mit dem auf standardisierter Informationsbasis ein Expertenkonsens zu den drei Gütekriterien gefunden werden kann.

Ergebnisse: In der Literatur werden die Gütekriterien „Diskriminationsfähigkeit“, „Reliabiliät“ und „Risikoadjustierung“ für Qualitätsindikatoren regelmäßig genannt und definiert. Hinweise auf eine praktikable Operationaliserung sind dagegen nur selten oder gar nicht beschrieben. Bewertungsverfahren, die gleichzeitig statistische und medizinische Expertise berücksichtigen, fehlen bislang in der Literatur. Für das QUALIFY-Instrument wurden sie daher in großen Teilen neu entwickelt. Mit einer datengestützten statistischen Analyse werden Informationen zur notwendigen Mindestfallzahl (Diskriminationsfähigkeit), zur Vollständigkeit und Reliabilität von Einflussfaktoren sowie zur Angemessenheit der Methodik (Risikoadjustierung), wie auch entweder zur Variabilität zwischen konsekutiven Zeitintervallen oder zur Übereinstimmung anhand eines Datenabgleichsverfahren (Reliabilität) generiert. Eine anschließende Bewertung unter Berücksichtigung der klinischen Relevanz erfolgt durch biometrische und medizinische Experten.

Schlussfolgerungen: Das QUALIFY-Instrument wurde inzwischen zur Bewertung von zahlreichen BQS-Qualitätsindikatoren [Ref. 1] eingesetzt. Die Bewertung der Diskriminationsfähigkeit und der Risikoadjustierung hat sich sowohl aus biometrischer als auch aus medizinischer Sicht als recht praktikabel erwiesen. Aufgrund der speziellen Datenlage war die Reliabilität biometrisch schwer zu operationalisieren, was jedoch in hohem Maße durch klinische Erfahrung aufgefangen werden konnte. Dennoch ist hier ein Ansatzpunkt für eine weitergehende Forschungs- und Entwicklungsarbeit gegeben.