gms | German Medical Science

Verschiedene Evaluationsansätze zur Qualitätsbeurteilung von Patienten-Entscheidungshilfen wurden entwickelt und sind Gegenstand der wissenschaftlichen Diskussion. Bestehende Konzepte sehen eine Prüfung der Herleitung der zur Anwendung kommenden Didaktik nicht vor. Deshalb wurden auf Basis einer systematischen Literaturanalyse ein eigenes Qualitätskonzept sowie das Beurteilungsinstrument MATRIX entwickelt. Ziel der vorliegenden Arbeit war die Prüfung der Handhabbarkeit von MATRIX.

Die Instrumente MATRIX und CREDIBLE (Vergleichsstandard) wurden über 3 Studienphasen von Gutachtern (N=4, N=14, N=15) in der Anwendung evaluiert. Verständlichkeit, Handhabbarkeit und Gutachtenqualität wurden mittels Fragebogen erhoben. 10 der Gutachter aus der 2. Studienphase nahmen auch an der 3 Studienphase teil. Nach der Pilotierung (Studienphase 1) sowie zwischen den Phasen 2 und 3 wurde MATRIX strukturell überarbeitet.

Die Gutachter der 2. Studie beurteilten CREDIBLE im Vergleich zu MATRIX als inhaltlich besser verständlich. Sie konnten dessen Fragen leichter beantworten und trauten CREDIBLE eine höhere Interrater-Reliabilität zu. Bezogen auf Struktur und Qualitätskonzept unterschieden sich die Ratings im Schnitt nicht. Hinsichtlich Nützlichkeit, Evaluationssystematik sowie Vollständigkeit und Nachvollziehbarkeit der erstellten Gutachten wurde MATRIX höher geratet. Freitextkommentare unterstützten die Revision des Instruments. Die Revisionsmaßnahmen führten in der 3. Studie zur Verbesserung von Verständlichkeit und Handhabbarkeit. Auch trauten die Gutachter MATRIX eher einen Beitrag zur Vollständigkeit der Gutachten zu. Zwar blieb die Gesamteinschätzung zur Begutachtungsvalidität der beiden Instrumente im Verhältnis unverändert. Hinsichtlich Differenziertheit, Genauigkeit und Nachvollziehbarkeit der erstellten Gutachten wurde MATRIX jedoch schlechter geratet.

Die Rückmeldungen zur Verständlichkeit und Handhabbarkeit von MATRIX sowie zur Validität der Gutachten zeigen, dass das Qualitätskonzept im Instrument nicht ausreichend klar operationalisiert ist. MATRIX wird erneut revidiert. Der hohe Anspruch an die Beurteilungssystematik stellt eine Herausforderung bei der Entwicklung eines handhabbaren Manuals dar.