gms | German Medical Science

49. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds)
19. Jahrestagung der Schweizerischen Gesellschaft für Medizinische Informatik (SGMI)
Jahrestagung 2004 des Arbeitskreises Medizinische Informatik (ÖAKMI)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie
Schweizerische Gesellschaft für Medizinische Informatik (SGMI)

26. bis 30.09.2004, Innsbruck/Tirol

Methoden und Werkzeug zur Unterstützung des Einsatzes qualitätsgesicherter Fragebögen in Evaluationsstudien

Meeting Abstract (gmds2004)

  • presenting/speaker Gernot Enzenberg - UMIT - Private Universität für Gesundheitswissenschaften, Medizinische Informatik und Technik, Innsbruck, Österreich
  • corresponding author Elske Ammenwerth - UMIT - Private Universität für Gesundheitswissenschaften, Medizinische Informatik und Technik, Innsbruck, Österreich
  • Frieda Kaiser - UMIT - Private Universität für Gesundheitswissenschaften, Medizinische Informatik und Technik, Innsbruck, Österreich
  • Helmut Kopf - UMIT - Private Universität für Gesundheitswissenschaften, Medizinische Informatik und Technik, Innsbruck, Österreich
  • Gudrun Hübner-Bloder - Institut für Informationssysteme des Gesundheitswesens, UMIT - Private Universität für Gesundheitswissenschaften, Medizinische Informatik und Technik, Innsbruck, Österreich
  • Thomas Schabetsberger - Institut für Informationssysteme des Gesundheitswesens, UMIT - Private Universität für Gesundheitswissenschaften, Medizinische Informatik und Technik, Innsbruck, Österreich

Kooperative Versorgung - Vernetzte Forschung - Ubiquitäre Information. 49. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds), 19. Jahrestagung der Schweizerischen Gesellschaft für Medizinische Informatik (SGMI) und Jahrestagung 2004 des Arbeitskreises Medizinische Informatik (ÖAKMI) der Österreichischen Computer Gesellschaft (OCG) und der Österreichischen Gesellschaft für Biomedizinische Technik (ÖGBMT). Innsbruck, 26.-30.09.2004. Düsseldorf, Köln: German Medical Science; 2004. Doc04gmds050

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gmds2004/04gmds050.shtml

Veröffentlicht: 14. September 2004

© 2004 Enzenberg et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielf&aauml;ltigt, verbreitet und &oauml;ffentlich zug&aauml;nglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Einleitung

Die Überwachung von Informationssystemen ist (neben Planung und Steuerung) eine wesentliche und häufig unterschätzte Aufgabe des Managements von Informationssystemen. Eine häufig benutzte Methode zur Überwachung von Krankenhausinformationssystemen im Rahmen von Evaluationsstudien sind Fragebögen. Diese sind geeignet, in kurzer Zeit eine große Studienpopulation zu erreichen. Zahlreiche Arbeiten zum Thema Erstellung von Fragebögen sind verfügbar. Es handelt sich dabei oft weniger um konkrete Regeln, als vielmehr um Richtlinien und Empfehlungen, die sich zudem teilweise widersprechen. Entsprechend schwierig und aufwändig gestaltet sich, speziell für Ungeübte, die Neuerstellung eines validen Fragebogens. Validität ist aber unbedingt Voraussetzung für gültige Studienergebnisse.

Um den Aufwand zu vermindern und die Qualität von Fragebogenstudien zu erhöhen, wäre ein Pool validierter und erfolgreich in der medizinischen Informatik eingesetzten Fragebögen sehr hilfreich. Dieser existiert in dieser Form noch nicht.

Alternativ kann man Fragebögen aus früheren Projekten wieder verwenden. Solche Fragebögen müssen aber zunächst auf ihre Qualität untersucht werden, eine Aufgabe, die eine klare Checkliste für die Bewertung von Fragebögen erfordert. Auch bei der Neuerstellung von Fragebögen wäre eines solche Checkliste hilfreich.

Die Ziele dieser Arbeit sind daher:

1. Eine Sammlung von qualitätsbeurteilten Fragebögen für Evaluationsstudien von Informationssystemen des Gesundheitswesens strukturiert aufbereitet zur Verfügung zu stellen.

2. Ein objektives Bewertungsschema für Fragebögen zu erstellen und zu erproben, welches für alle Arten von Fragebögen (nicht nur für psychometrische Fragebögen) Gültigkeit hat.

Methoden

Um Ziel 1 zu erreichen, wurde durch Expertenbefragungen und durch eine umfangreiche Literatursuche in zunächst primär medizin-informatischen Bereichen nach geeigneten Fragebögen geforscht. Anhand dieses ersten Sets von Fragebögen wurde eine Ablagestruktur gewählt, die im Wesentlichen folgende Elemente umfasst:

• Typ der Informationssystemkomponente (z.B. Decision support system).

• Befragte Personengruppe (z.B. Ärzte und Pflegekräfte).

• Fokus der Studie (z.B. Benutzerzufriedenheit).

Um Ziel 2 zu erreichen, wurde auf Basis einer umfassenden Literatur- und Webrecherche unter Zuhilfenahme verschiedener Leitfäden für die Erstellung von Fragebögen (z.B. [1], [2], [3], [4], [5], [6]) ein Bewertungsschema entworfen. Zur Überprüfung von Objektivität, Reliabilität und Validität diese Bewertungsschemas wurden ausgewählte Fragebögen auf ihre Qualität hin von zwei Wissenschaftlern bewertet.

Ergebnisse

Die für Ziel 1 gesammelten Fragebögen wurden in einer webbasierten Datenbank bereitgestellt. Unter dem Link http://qpool.umit.at [Abb. 1] liegt ein voll funktionsfähiger Prototyp bereits vor.

Für Ziel 2 wurde wie beschrieben ein Bewertungsschema erarbeitet. Der erste Entwurf des Bewertungsschemas gliedert sich in vier Hauptabschnitte:

1. Qualität der Formulierung der Fragen (z.B. nur ein Aspekt pro Frage; keine doppelte Verneinung; präzise und unmissverständliche Formulierung; vermeiden von Abkürzungen und Fachwörter; geeignete Mischung positiver und negativer Formulierungen).

2. Qualität der Formulierung der Antwortmöglichkeiten (z.B. zur Frage passend; symmetrisch; nicht überlappend; erschöpfend; gleiche Abstände zwischen Antworten).

3. Umfang der Validierung des Fragebogens (z.B. Vorhandensein von Angaben über die formale Überprüfung von Objektivität, Reliabilität und Validität bei psychometrischen Fragebögen).

4. Qualität der Gesamtgestaltung des Fragebogens (z.B. optische Gestaltung; Gruppierung zu Frageblöcken; Nummerierung von Fragen; Qualität des Anschreibens und der Fragebogeninstruktion).

Jeder einzelne Aspekt kann mit bis zu drei Punkten bewertet werden. Die jeweiligen Gesamtscores jedes der vier genannten Hauptabschnitte und damit des Gesamt-Fragebogens ergeben sich dann durch Aufsummieren dieser Einzelscores.

Diskussion

Die Anzahl der Fragebögen in Qpool ist bisher noch limitiert, soll jetzt aber vergrößert werden. Die bisher gewählte Ablagestruktur der Fragebögen in Qpool wurde für unsere aktuellen Bedürfnisse entwickelt. Sie kann bei Bedarf (z.B. im Falle stark wachsender Anzahl von Fragebögen) um weitere Attribute ergänzt werden, um so die Auswahlmöglichkeiten zu verfeinern.

Besonderes Augenmerk legen wir auf die Validität des Bewertungsschemas als Messinstrument. Durch engen Abgleich mit der Literatur haben wir versucht, eine hohe Vollständigkeit in Bezug auf die als besonders wichtig erachteten Qualitätskriterien zu erreichen. Um die Objektivität des Bewertungsschemas zu gewährleisten, haben wir klare Bewertungsrichtlinien erstellt, die Untersucherunabhängigkeit erzeugen sollen (z.B. „wenn > 25% der Items eine doppelte Verneinung beinhalten, erhält der Fragebogen nur einen von drei Punkten."). Die Reliabilität wird durch Wiederholungstests geprüft. Die Validität zeigt sich z.B. darin, dass bereits vorher formell validierte Fragebögen eine hohe Qualitätsbewertung erhalten sollten. All diese Aspekte werden nun überprüft, indem alle Fragebögen in Qpool von zwei Wissenschaftlern auf ihre Qualität bewertet werden. Zu bedenken ist allerdings, dass für die vollständige Bewertung eines Fragebogens das komplette Fragebogeninventar inkl. Anschreiben, Originallayout und Validierungsergebnisse vorhanden sein müsste, was i.d.R. nicht der Fall ist.

Durch strukturierte Sammlung von qualitätsbeurteilten Fragebögen in Qpool und durch Bereitstellung eines validierten Bewertungsschemas erhoffen wir das Auffinden und die Wiederverwendung von qualitativ hochwertigen Fragebögen zu erleichtern, um so die Qualität von Evaluationsstudien in der Medizinischen Informatik zu unterstützen.


Literatur

1.
Lienert G. Raatz U. Testaufbau u. Testanalyse, 6.Auflage, Weinheim: Psychologische Verlags Union; 1998
2.
Mummenday H.D. Die Fragebogen-Methode, Grundlagen und Anwendung in Persönlichkeits- Einstellungs- und Selbstkonzeptforschung 2. Auflage Göttingen: Hogrefe Verlag; 1999
3.
University of British Columbia School of library, archive 2003; http://www.slais.ubc.ca/resources/ research_methods/question.htm
4.
Losh S., EDF 5481 methods of educational research, Department of Educational Pychology and Learning Systems Florida State University, 2000; http://edf5481-01.su00.fsu.edu/Questionnaires.htm
5.
Fumento, T. Issues in questionnaire design. Evaluation Technical Assistance: Dissemination Series. Champaign, IL: Transition Research Institute. University of Illinois http://www.ed.uiuc.edu/ SPED/TRI/questionnaire.htm
6.
Babbie, Earl R. The practice of social research, (5th Ed.) Belmont, CA: Wadsworth. 1989; http://www.uiowa.edu/~commstud/adclass/research/babbie.html