gms | German Medical Science

GMS Mitteilungen aus der AWMF

Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF)

ISSN 1860-4269

Verständlich oder Praxisfern - Anwenderbefragung zum AWMF-Leitlinien-Regelwerk

Mitteilung

Suche in Medline nach

GMS Mitt AWMF 2015;12:Doc6

doi: 10.3205/awmf000305, urn:nbn:de:0183-awmf0003055

Eingereicht: 23. Juni 2015
Veröffentlicht: 3. Juli 2015

© 2015 Muche-Borowski et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Seit 20 Jahren engagieren sich die wissenschaftlichen medizinischen Fachgesellschaften in der AWMF für die Entwicklung hochwertiger medizinischer Leitlinien und stellen sich dabei der Herausforderung, methodische Qualität und Praxisnähe zu vereinen. Ziel des „AWMF-Regelwerk Leitlinien“ ist es, Leitlinienentwickler zu unterstützen und die Qualität der Leitlinien insgesamt sicher zu stellen. Zur Ermittlung, ob dieses Ziel erreicht wird und wie das Regelwerk von potentiellen Anwendern tatsächlich aufgenommen wird, erfolgte eine strukturierte online-Befragung der Leitlinienbeauftragten und Geschäftsstellen der Fachgesellschaften Von der Mehrzahl der Befragten wurde das Regelwerk als informativ und praxisnah empfunden sowie als hilfreiche Unterstützung bei der Erstellung der eigenen Leitlinie. Es wurden aber auch Verbesserungspotenziale gesehen in Hinblick auf die Struktur (z.B. Wunsch nach einer Kurzversion), die Sprache (z.B. zu viel Fachjargon) und die Anwendbarkeit (z.B. Wunsch nach mehr Praxisbeispielen).

Die Ergebnisse der Befragung bieten wertvolle Hinweise für die nächste Überarbeitung des Regelwerks um den Bedürfnissen von Leitlinienentwicklern möglichst optimal entsprechen zu können.


Text

Einleitung

Wie sieht für Sie eine gute Leitlinie aus? Persönliche Berichte von Teilnehmer von Workshops oder Veranstaltungen zum Thema Leitlinien gehen seit vielen Jahren in die gleiche Richtung. Die Leitlinie sollte kurz und prägnant sein, sich am Praxisalltag orientieren. Darüber hinaus sollen Unsicherheiten für Leitliniennutzer durch unterschiedliche Leitlinien zu einem Thema vermieden werden. Die Kernaussagen / Empfehlungen sollen eindeutig, nachvollziehbar und leicht zu finden sein. Im besten Fall sollen Begründungen in Hinblick auf die wissenschaftliche und klinische Rationale und den Sinn der Kernaussagen / Empfehlungen angegeben sein.

Aus Anwenderperspektive soll eine „gute“ Leitlinie demnach viele Eigenschaften mitbringen. Zudem besteht heute internationaler Konsens über hohe methodische Anforderungen, die „gute Leitlinien“ erfüllen sollten, vor allem im Hinblick auf die Repräsentativität des Leitliniengremiums, die systematische Evidenzbasierung, die strukturierte Konsensfindung und die redaktionelle Unabhängigkeit [1], [2]. Solche „guten“ Leitlinien müssen in aufwendigen Prozessen erstellt werden. Die von den Wissenschaftlichen Medizinischen Fachgesellschaften eingesetzten Leitlinienautoren stehen dabei vor der Aufgabe, neben klinischer und wissenschaftlicher Tätigkeit in rein ehrenamtlichem Engagement die methodischen Anforderungen umzusetzen und zusätzlich die Wünsche der Anwender im Blick zu haben. Mit der Führung eines qualitätsgesicherten Leitlinienregisters, Beratungen und Materialien unterstützt die Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF) die Leitlinienautoren. Dafür wurden die Schritte der Leitlinienentwicklung und Regeln für das Leitlinienregister erstmals als Kompendium zusammengestellt. Im Jahr 2012 wurde das „AWMF-Regelwerk Leitlinien“ publiziert [3]. Angelehnt an internationale Manuale zur Leitlinienerstellung und mit Verweis auf das Deutsche Instrument zur methodischen Leitlinien-Bewertung (DELBI) und das internationale Appraisal of Guidelines for Research & Evaluation II (AGREE II) Instrument entstand eine Leitlinie für Leitlinien als Unterstützung für Leitlinienersteller und methodisch Interessierte. Das AWMF-Regelwerk bildet auf 85 Seiten die 7 Lebensphasen einer Leitlinie ab, von der Planung bis zur Publikation.

Das Ziel des AWMF-Regelwerkes ist es, in einer kompakten Form, Unterstützung anzubieten, zum einen in Form von in sich geschlossenen Abschnitte zu den einzelnen Lebensphasen und zum anderen mit hilfreichen Links und Tipps, weiterführender Literatur und Praxishilfen. Es dient somit sowohl der Sicherstellung und Darlegung der Qualität der einzelnen Leitlinien als auch der Qualität des AWMF-Leitlinienregisters.

Verbreitet wurde das AWMF-Regelwerk Leitlinien als

  • interaktive HTML-bzw. pdf-Version auf der AWMF-Webseite,
  • USB-Stick und
  • Kompendium in gedruckter Form

an alle Leitlinienbeauftragten der AWMF-Mitgliedsgesellschaften, die Teilnehmer der jährlichen Leitlinienkonferenz 2012 und im Rahmen der AWMF-Leitlinienseminare. In Beratungsgesprächen mit den LL-Gruppen oder bei konstituierenden Treffen wurde auf das AWMF-Regelwerk als grundlegendes orientierendes Dokument verwiesen und dieses weitergegeben.

Anderthalb Jahre nach Verbreitung innerhalb der medizinischen Fachgesellschaften der AWMF stellte sich die Frage, wie das Regelwerk aufgenommen wird. Dazu wurde eine Befragung der Anwenderzielgruppe durchgeführt.

Das Ziel der Befragung war die Feststellung des Bekanntheitsgrades bzw. das Nutzungsverhalten durch den Anwender. Weiterhin diente die Befragung der Ermittlung der Anwenderperspektive hinsichtlich Verständlichkeit, Anwendbarkeit und Verbesserungspotenzial, um den Überarbeitungsbedarf abzuschätzen.

Methodik

Über Survey Monkey wurde zwischen August und September 2014 eine Online-Befragung durchgeführt. In diesem Zeitraum wurden zwei Erinnerungen verschickt. Die in Frage kommende Zielgruppe waren Leitlinienbeauftragte der AWMF-Mitgliedsgesellschaften und deren Geschäftsstellen, die direkt per E-Mail angeschrieben wurden. Die entsprechenden Adressen sind in der AWMF-Geschäftsstelle hinterlegt.

In insgesamt 11 Fragen, sechs geschlossenen und 5 offenen Fragen, wurden die Schwerpunkte Kenntnis, Verständlichkeit, Praxisrelevanz des AWMF-Regelwerkes abgefragt. Weiterhin wurden Fragen zum Verbesserungspotenzial des Regelwerkes insgesamt und hinsichtlich der Adressierung der einzelnen Lebensphasen einer Leitlinie formuliert. Die Auswertung erfolgte deskriptiv und kategorial. Freitextangaben wurden mit Hilfe von MAXQDA [4] inhaltlich (induktiv) zusammengefasst.

Der vollständige Fragebogen wird auf Nachfrage von den Autorinnen zur Verfügung gestellt.

Ergebnisse

155 Leitlinienbeauftragte und 162 Geschäftsstellen wurden angeschrieben. 74 Personen nahmen an der Befragung teil. Alle Teilnehmer beantworteten die geschlossenen Fragen bzw. gaben Kommentare zu den offenen Fragen.

Auf die Frage, ob das AWMF-Regelwerk überhaupt in einem seiner verschiedenen Formate (interaktive HTML-bzw. pdf-Version auf der AWMF-Webseite, USB-Stick oder Kompendium in gedruckter Form) bekannt ist, antworteten 84% der Befragten mit „ja“, 16% mit „nein“.

Die Inhalte des Regelwerks kennen über die Hälfte der Befragten (57%), 35% kennen diese teilweise und 8% gar nicht (s. Abbildung 1[Abb. 1]).

Über 60% der Befragten (64%) war bzw. ist das AWMF-Regelwerk hilfreich bei der Erstellung ihrer Leitlinie (s. Abbildung 2[Abb. 2]). Als Gründe wurden die klare Struktur, die Erläuterung der einzelnen Abläufe, die klare und kompakte Struktur der einzelnen Kapitel, die Ermöglichung einer strukturierten Arbeit in den einzelnen Entwicklungsstufen und die gute Darstellung des methodischen Vorgehens mit Erläuterungen und Praxishilfen genannt.

In einer weiteren Frage wurden die Eigenschaften des Regelwerkes durch 3 drei vorgegebene Aussagen adressiert. In ihren Antworten sollten sich die Teilnehmer festlegen, ob sie diesen „eher zustimmen“, „zustimmen“, „eher nicht zustimmen“, „nicht zustimmen“ oder gar „nicht beurteilen können“. Die Antworten „stimme eher zu“ und „stimme zu“ wurden zu einer positiven Antwort zusammengefasst. Die Antworten „stimme eher nicht zu“ und „stimme nicht zu“ zu einer negativen Antwort. Die Mehrzahl der Teilnehmer findet das AWMF-Regelwerk gut strukturiert, verständlich und in seinen angebotenen Formaten gut anwendbar. Abbildung 3 zeigt die absolute Anzahl der Antworten zu den drei abgefragten Aussagen.[Abb. 3]

In einer weiteren Frage, deren Antwortkategorien wie in den drei zuvor Genannten skaliert und ausgewertet wurden, sollten die Teilnehmer angeben, ob bestimmte Angaben in den einzelnen Kapiteln enthalten sind bzw. welche Eigenschaften diese mitbringen. Das Regelwerk wurde als informativ und praxisnah empfunden, war hilfreich bei der Erstellung der eigenen Leitlinie mit wichtigen Literaturhinweisen. Verbesserungspotenzial wurde hinsichtlich der Klarheit und Eindeutigkeit der Vorgaben gesehen. Beispiele wurden als ausreichend empfunden, gleichzeitig wurden die einzelnen Kapitel des Regelwerkes von fast der gleichen Anzahl von Umfrageteilnehmern als zu umfangreich eingeschätzt. (s. Abbildung 4[Abb. 4])

Antworten auf die offenen Fragen ergaben Hinweise darauf, dass die Sprache als verbesserungswürdig eingeschätzt wurde, diese sei zum Teil zu bürokratisch, mit zu viel Fachjargon. Ebenso wurden Inhalte teilweise als zu komplex wahrgenommen. Eine Kurzversion sowie die Hervorhebung von Kerninhalten wurden neben dem Einbringen von Praxisbeispielen als hilfreich gesehen. Bei der Beurteilung auf Kapitelebene wurden diese sowohl als zu kurz als auch als zu umfangreich beurteilt, z.B. bezüglich Interessenkonflikten, formaler Konsensfindung oder Adaptation von Empfehlungen aus vorhandenen Leitlinien.

Zusammengefasst wurden auf drei Ebenen die folgenden Verbesserungspotenziale gesehen (wesentlichste Ergebnisse):

Struktur
  • Bessere Nummerierung, Layout
  • Kürzer und präziser
  • „Kochrezept“ für eine gute Leitlinie
  • mehr Praxisnähe
  • Kurzversion gewünscht
Verständlichkeit / Sprache
  • Beispiel-Gliederung einer LL bzw. Beispiele anhand bestehender LL
  • Weniger Fachwörter / Sprache zu bürokratisch, zu viel Fachjargon
  • kürzer fassen
Anwendbarkeit
  • Beispiele für gute und unvollständige Leitlinieneinreichungen
  • Ergänzungen wie zu verfahren ist, falls nur sehr wenig Ressourcen zur Verfügung stehen
  • Einfachere Handhabung/ übersichtlichere Downloads
  • Mehr Flow-Charts/Entscheidungsbäume
  • Bereitstellung als Web-App
Diskussion

Von über 300 angeschriebenen Leitlinienbeauftragten und Fachgesellschaftsgeschäftsstellen haben 74 Teilnehmer an der Umfrage teilgenommen (23,3%). Aufgrund der Vielfalt der Antworten kann dennoch von einer repräsentativen Stichprobe ausgegangen werden, auch wenn dies nicht direkt überprüft werden kann. Es wurden nicht nur in die Leitlinienarbeit unmittelbar involvierte Personen (Leitlinienbeauftragte) angeschrieben, sondern auch die Geschäftsstellen der Fachgesellschaften, die dies nicht zwangsläufig sind. Neben der Online-Befragung wurden auch in den von der AWMF angebotenen Leitlinien-Seminaren und in persönlichen Gesprächen mit den Koordinatoren oder der Leitliniengruppe, Rückmeldungen zum AWMF-Regelwerk gegeben. Diese decken sich mit den hier vorgestellten Ergebnissen.


Die Auswertung der Kommentare erfolgte nach inhaltlichen Punkten, mit Hilfe des Programms MAXQDA. Der Großteil der angegebenen Kommentare konnte als „positiv“ gewertet werden, die Befragten sahen kein Verbesserungspotenzial. Die genannten Verbesserungsvorschläge, wie im Ergebnisteil dargestellt, sind konkret, verständlich und in einer Überarbeitung des Regelwerks umsetzbar. Ein Teil der Vorschläge wurde bereits umgesetzt. Dazu gehört eine Publikation, die als leicht verständliche Kurzversion des AWMF-Regelwerks für den schnellen Einstieg dienen soll [5].

Anpassungen erfolgen auch über die Publikation von Addenda zum Regelwerk auf der AWMF-Webseite und ein weiterer Teil wird für die nächste Revision des Regelwerks insgesamt berücksichtigt, die spätestens 2017 abgeschlossen sein soll, um, wie bei der Gültigkeit von Leitlinien, eine 5-Jahreslaufzeit nicht zu überschreiten. Ein Aspekt, der sich seit der Publikation des Regelwerkes bereits neu ergeben hat und als Addendum zum AWMF-Regelwerk auf der AWMF-Webseite unter Hilfen und Werkzeuge eingestellt wurde, ist eine Hilfe zur Schaffung von Rechtssicherheit für Leitlinienautoren und Leitlinienherausgebende Fachgesellschaften hinsichtlich der Einräumung von Nutzungsrechten an Leitlinien durch einen Mustervertrag nebst Erläuterung.

Insgesamt wird das AWMF-Regelwerk Leitlinien von der Mehrzahl der Teilnehmer aktiv genutzt und als Unterstützung wahrgenommen.

Die Herausgeber haben nach inhaltlicher Prüfung durch die Autoren des AWMF-Regelwerkes Leitlinien dessen Aktualität zunächst bestätigt. DELBI ist derzeit in Überarbeitung. In zeitlichem und inhaltlichem Einklang mit dessen Validierung und Implementierung ist eine Überarbeitung des AWMF-Regelwerkes ab Anfang 2016 geplant. Die Grundstruktur des Aufbaus wird bestehen bleiben können. Inhaltliche Überarbeitungen werden die Konkretisierung einzelner Kapitel (z.B. Interessenkonflikte, Evidenzbewertung) und die Aufnahme neuer Kapitel (z.B. Nutzungsrechte) betreffen. Den Wünschen nach mehr Praxisbeispielen wird nachgegangen werden.

Kernaufgabe der Überarbeitung des AWMF-Regelwerks Leitlinien wird auch sein, mit der nächsten Version dem Ziel einer gemeinsamen Sprache zwischen Methodikern und klinischen Leitlinienerstellern noch mehr Rechnung zu tragen, um so die Ansprüche auf beiden Seiten näher zusammen zu bringen.


Darüber hinaus bestehen für die Implementierungsarbeit des Regelwerks hinsichtlich des Bekanntheitsgrads des Regelwerks an sich und der Kenntnis der Inhalte noch Optimierungspotentiale.


Wir danken allen, die an der Befragung teilgenommen haben und auch denen, die durch ihre konstruktiven und hilfreichen Rückmeldungen dazu beitragen, dass das AWMF-Regelwerk noch praxisnäher wird und so auch in Zukunft als nützliche Hilfestellung bei der Leitlinienerstellung wahrgenommen werden wird.



Schlüsselwörter: AWMF-Regelwerk, Evaluation, Befragung, Überarbeitung

Key words: AWMF guidance, evaluation, questionnaire, update


Literatur

1.
IOM (Institut of Medicine). Clinical Practice Guidelines We Can Trust. Washington, DC: www.iom.edu: The Nationale Academies Press; 2011 Externer Link
2.
McMaster University. GIN-McMaster Guideline Development Checklist. 2014; http://cebgrade.mcmaster.ca/guidecheck.html. Accessed 30.09.2014 Externer Link
3.
Muche-Borowski C, Selbmann HK, Müller W, Nothacker M, Kopp I. Das AWMF-Regelwerk Leitlinien: Ständige Kommission "Leitlinien" der Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF); 2012: http://www.awmf.org/leitlinien/awmf-regelwerk.html. Accessed 30.09.2014 Externer Link
4.
MAXQDA. www.maxqda.de (Accessed: 12. 06. 2015) Externer Link
5.
Kopp I, Rahn K-H. Leitlinien in der klinischen Praxis - erkennen, worauf es ankommt. Bayerisches Ärzteblatt 2015; 1:8-12. Verfügbar: http://www.awmf.org/leitlinien/awmf-regelwerk/awmf-publikationen-zu-leitlinien.html (Accessed: 12. 06. 2015) Externer Link