gms | German Medical Science

Die Überwachung von Informationssystemen ist (neben Planung und Steuerung) eine wesentliche und häufig unterschätzte Aufgabe des Managements von Informationssystemen. Eine häufig benutzte Methode zur Überwachung von Krankenhausinformationssystemen im Rahmen von Evaluationsstudien sind Fragebögen. Diese sind geeignet, in kurzer Zeit eine große Studienpopulation zu erreichen. Zahlreiche Arbeiten zum Thema Erstellung von Fragebögen sind verfügbar. Es handelt sich dabei oft weniger um konkrete Regeln, als vielmehr um Richtlinien und Empfehlungen, die sich zudem teilweise widersprechen. Entsprechend schwierig und aufwändig gestaltet sich, speziell für Ungeübte, die Neuerstellung eines validen Fragebogens. Validität ist aber unbedingt Voraussetzung für gültige Studienergebnisse.

Um den Aufwand zu vermindern und die Qualität von Fragebogenstudien zu erhöhen, wäre ein Pool validierter und erfolgreich in der medizinischen Informatik eingesetzten Fragebögen sehr hilfreich. Dieser existiert in dieser Form noch nicht.

Alternativ kann man Fragebögen aus früheren Projekten wieder verwenden. Solche Fragebögen müssen aber zunächst auf ihre Qualität untersucht werden, eine Aufgabe, die eine klare Checkliste für die Bewertung von Fragebögen erfordert. Auch bei der Neuerstellung von Fragebögen wäre eines solche Checkliste hilfreich.

Die Ziele dieser Arbeit sind daher:

1. Eine Sammlung von qualitätsbeurteilten Fragebögen für Evaluationsstudien von Informationssystemen des Gesundheitswesens strukturiert aufbereitet zur Verfügung zu stellen.

2. Ein objektives Bewertungsschema für Fragebögen zu erstellen und zu erproben, welches für alle Arten von Fragebögen (nicht nur für psychometrische Fragebögen) Gültigkeit hat.

Um Ziel 1 zu erreichen, wurde durch Expertenbefragungen und durch eine umfangreiche Literatursuche in zunächst primär medizin-informatischen Bereichen nach geeigneten Fragebögen geforscht. Anhand dieses ersten Sets von Fragebögen wurde eine Ablagestruktur gewählt, die im Wesentlichen folgende Elemente umfasst:

• Typ der Informationssystemkomponente (z.B. Decision support system).

• Befragte Personengruppe (z.B. Ärzte und Pflegekräfte).

• Fokus der Studie (z.B. Benutzerzufriedenheit).

Um Ziel 2 zu erreichen, wurde auf Basis einer umfassenden Literatur- und Webrecherche unter Zuhilfenahme verschiedener Leitfäden für die Erstellung von Fragebögen (z.B. [Ref. 1], [Ref. 2], [Ref. 3], [Ref. 4], [Ref. 5], [Ref. 6]) ein Bewertungsschema entworfen. Zur Überprüfung von Objektivität, Reliabilität und Validität diese Bewertungsschemas wurden ausgewählte Fragebögen auf ihre Qualität hin von zwei Wissenschaftlern bewertet.

Die für Ziel 1 gesammelten Fragebögen wurden in einer webbasierten Datenbank bereitgestellt. Unter dem Link http://qpool.umit.at [Abb. 1] liegt ein voll funktionsfähiger Prototyp bereits vor.

Für Ziel 2 wurde wie beschrieben ein Bewertungsschema erarbeitet. Der erste Entwurf des Bewertungsschemas gliedert sich in vier Hauptabschnitte:

1. Qualität der Formulierung der Fragen (z.B. nur ein Aspekt pro Frage; keine doppelte Verneinung; präzise und unmissverständliche Formulierung; vermeiden von Abkürzungen und Fachwörter; geeignete Mischung positiver und negativer Formulierungen).

2. Qualität der Formulierung der Antwortmöglichkeiten (z.B. zur Frage passend; symmetrisch; nicht überlappend; erschöpfend; gleiche Abstände zwischen Antworten).

3. Umfang der Validierung des Fragebogens (z.B. Vorhandensein von Angaben über die formale Überprüfung von Objektivität, Reliabilität und Validität bei psychometrischen Fragebögen).

4. Qualität der Gesamtgestaltung des Fragebogens (z.B. optische Gestaltung; Gruppierung zu Frageblöcken; Nummerierung von Fragen; Qualität des Anschreibens und der Fragebogeninstruktion).

Jeder einzelne Aspekt kann mit bis zu drei Punkten bewertet werden. Die jeweiligen Gesamtscores jedes der vier genannten Hauptabschnitte und damit des Gesamt-Fragebogens ergeben sich dann durch Aufsummieren dieser Einzelscores.

Die Anzahl der Fragebögen in Qpool ist bisher noch limitiert, soll jetzt aber vergrößert werden. Die bisher gewählte Ablagestruktur der Fragebögen in Qpool wurde für unsere aktuellen Bedürfnisse entwickelt. Sie kann bei Bedarf (z.B. im Falle stark wachsender Anzahl von Fragebögen) um weitere Attribute ergänzt werden, um so die Auswahlmöglichkeiten zu verfeinern.

Besonderes Augenmerk legen wir auf die Validität des Bewertungsschemas als Messinstrument. Durch engen Abgleich mit der Literatur haben wir versucht, eine hohe Vollständigkeit in Bezug auf die als besonders wichtig erachteten Qualitätskriterien zu erreichen. Um die Objektivität des Bewertungsschemas zu gewährleisten, haben wir klare Bewertungsrichtlinien erstellt, die Untersucherunabhängigkeit erzeugen sollen (z.B. „wenn > 25% der Items eine doppelte Verneinung beinhalten, erhält der Fragebogen nur einen von drei Punkten."). Die Reliabilität wird durch Wiederholungstests geprüft. Die Validität zeigt sich z.B. darin, dass bereits vorher formell validierte Fragebögen eine hohe Qualitätsbewertung erhalten sollten. All diese Aspekte werden nun überprüft, indem alle Fragebögen in Qpool von zwei Wissenschaftlern auf ihre Qualität bewertet werden. Zu bedenken ist allerdings, dass für die vollständige Bewertung eines Fragebogens das komplette Fragebogeninventar inkl. Anschreiben, Originallayout und Validierungsergebnisse vorhanden sein müsste, was i.d.R. nicht der Fall ist.

Durch strukturierte Sammlung von qualitätsbeurteilten Fragebögen in Qpool und durch Bereitstellung eines validierten Bewertungsschemas erhoffen wir das Auffinden und die Wiederverwendung von qualitativ hochwertigen Fragebögen zu erleichtern, um so die Qualität von Evaluationsstudien in der Medizinischen Informatik zu unterstützen.