gms | German Medical Science

Kongress Medizin und Gesellschaft 2007

17. bis 21.09.2007, Augsburg

Evaluation des Informationssystems der Gesundheitsberichterstattung des Bundes (IS-GBE, www.gbe-bund.de) unter besonderer Berücksichtigung der Stichwortsuche

Meeting Abstract

  • Winfried Eberhardt - Statistisches Bundesamt, Bonn
  • Klaus Rüggenmann - Aperto AG, Berlin
  • Timo Wirth - Aperto AG, Berlin
  • Norman Wiechmann - Aperto AG, Berlin
  • Ingo Werren - Aperto AG, Berlin

Kongress Medizin und Gesellschaft 2007. Augsburg, 17.-21.09.2007. Düsseldorf: German Medical Science GMS Publishing House; 2007. Doc07gmds077

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/meetings/gmds2007/07gmds077.shtml

Published: September 6, 2007

© 2007 Eberhardt et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Einleitung: Das IS-GBE bietet eine zentrale Anlaufstelle bei der Suche nach gesundheitsbezogenen, insbesondere statistischen Informationen. Das Angebot wurde in vielen Überarbeitungsrunden verbessert und den Ansprüchen der Internet-Gemeinde angepasst.

Methoden: Zur besseren Einschätzung der Qualität und der weiteren Entwicklungsmöglichkeiten des IS-GBE wurde 2006 eine Evaluation durch externe Auftragnehmer mit folgenden Methoden durchgeführt.

  • Befragung von Nutzern des IS-GBE sowie Nichtnutzern
  • Labortests mit 7 Probanden
  • Expertentests zur Barrierefreiheit und zur Stichwortsuche

Besonderes Augenmerk wird in diesem Beitrag auf die Stichwortsuche gerichtet. Anhand von Beispielsuchen wurde beurteilt, wie vollständig und präzise die Trefferlisten sind und ob die Reihenfolge der Treffer den Erwartungen entspricht. Es wurden 42 Suchanfragen aus verschiedenen Themenbereichen getestet. Die erhaltenen Suchergebnisse wurden mit manuell erstellten „idealen“ Treffersets abgeglichen.

Ergebnisse: Die Messwerte zeigten gute Ergebnisse für Suchanfragen mit 1 Suchwort. Insgesamt betrug der Recall bei der Default-Suche (UND-Suche in den Überschriften unter Einbeziehung von Synonymen) aber nur durchschnittlich 40%. Auch die Trefferreihenfolge zeigte Verbesserungsbedarf. Im Schnitt wurden nur 3 der wichtigsten 10 Dokumente unter den ersten 10 Treffern gefunden. Die resultierende Empfehlung war, bei der Default-Suche den Volltext einzubeziehen, die Stichwörter mit ODER zu verknüpfen und Fehlschreibungen abzufangen. Da dann die Trefferlisten länger werden, muss das Ranking deutlich verbessert werden. Es ist geplant, hierzu einen in mehreren Dimensionen gewichteten Gesamtscore zu berechnen. Der Vorteil der Eigenberechnung ist, dass der Berechnungsalgorithmus auf die Bedingungen im IS-GBE (u.a. hoher Anteil von Zahlentabellen im System) ausgerichtet werden kann.

In den Befragungen wurde der Nutzwert des IS-GBE im Vergleich mit anderen Informations-Web-Sites als sehr hoch eingestuft, wobei allerdings die Aktualität der Informationen und die Übersichtlichkeit der Site als unterdurchschnittlich bewertet wurden.

Auch der Test zur Barrierefreiheit und die Labortests lieferten eine Reihe sehr vielversprechender Verbesserungsansätze, die sukzessive umgesetzt werden.

Diskussion: Neben neuen Erkenntnissen hat die Evaluation auch eine Objektivierung der Bedeutung verschiedener schon vorher erkannter Probleme erbracht.


Literatur

1.
Baeza-Yates R, Ribeiro-Neto B. Modern Information Retrieval. Addison Wesley; 1999.