gms | German Medical Science

GMDS 2013: 58. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

01. - 05.09.2013, Lübeck

Definition und Evaluation einer Guideline zur Entwicklung von qualitativ guten Ontologien

Meeting Abstract

  • Martin Boeker - Universitätsklinikum Freiburg, Freiburg i. Br., DE
  • Stefan Schulz - Medizinische Universität Graz, Graz, AT
  • Djamila Seddig-Raufie - Universitätsklinikum Freiburg, Freiburg i. Br., DE
  • Daniel Schober - Universitätsklinikum Freiburg, Freiburg i. Br., DE
  • Johannes Röhl - Universität Rostock, Rostock, DE
  • Niels Grewe - Universität Rostock, Rostock, DE
  • Ludger Jansen - Universität Rostock, Rostock, DE

GMDS 2013. 58. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS). Lübeck, 01.-05.09.2013. Düsseldorf: German Medical Science GMS Publishing House; 2013. DocAbstr.269

doi: 10.3205/13gmds094, urn:nbn:de:0183-13gmds0948

Published: August 27, 2013

© 2013 Boeker et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Einleitung und Fragestellung: Formale Ontologien sind eine Schlüsseltechnologie in den Lebenswissenschaften, die zur präzisen Repräsentation von Entitäten und den Beziehungen zwischen ihnen eingesetzt werden können. Es stehen eine große Zahl von Ontologien für unterschiedliche Anwendungsbereiche zur Verfügung, die teilweise sehr erfolgreich genutzt werden [1]. Andererseits ist ihre Anwendung häufig durch ihre schlechte formale und inhaltliche Qualität eingeschränkt [2]. Dieses Problem wird nicht zuletzt durch einen Mangel an gut ausgebildeten Ontologie-Entwicklern hervorgerufen. Daraus wurden folgende Zielsetzung dieses Projektes abgeleitet:

1.
die Entwicklung einer Guideline zur Entwicklung von qualitativ guten Ontologien,
2.
ihre Umsetzung in einem Curriculum zum Training von Ontologieentwicklern und
3.
die Evaluation der Wirksamkeit diese Trainings auf die Fähigkeiten von Ontologieentwicklern.

Material und Methoden: Auf Basis der Literatur und eigener Erfahrung wurden zentrale Bereiche und Inhalte der Ontologie-Entwicklung identifiziert und in einer Guideline festgehalten, für die dann ein Curriculum enwickelt wurde [3]. Das Curriculum diente in einer randomisierten Studie als Intervention, die mit 24 Studierenden durchgeführt wurde. Dabei wurden die Teilnehmer für verschiedene Themen der Ontologie-Entwicklung trainiert oder nicht. Die Teilnehmer hatten in der eigentlichen Messung dann die Aufgabe, Ontologien für Repräsentationsprobleme zu entwerfen, für die sie trainiert waren oder nicht. Als Outcome Parameter wurden (1) die Distanz zu Gold-Standard Ontologien [4] und (2) der Grad der Erfüllung von Competency-Questions [5] bestimmt.

Ergebnisse: Wir haben in diesem Projekt vier Bereiche der Ontologie-Entwicklung identifiziert, die eine herausragende Rolle für die Qualität der produzierten Ontologien besitzen:

1.
Der Ontologieentwickler muss Wissen in der Domäne haben, die es zu repräsentieren gilt (z.B. Teilbereiche der Medizin oder der Biologie). Ohne ausreichendes Wissen kann häufig nicht einmal eine sinnvolle taxonomische Struktur entworfen werden.
2.
Der Ontologieentwickler muss die Repräsentionssprache beherrschen, die heute in der Regel die Web Ontologie Language (OWL 2) ist. Diese Voraussetzung ist für viele Entwickler von Ontologien eine große Herausforderung, da die Bedeutung der zugrunde liegenden deskriptionslogischen Formalismen schwierig zu verstehen ist.
3.
Darüber hinaus ist es von großer Bedeutung, dass Ontologieentwickler bestehende Standards und Spezifikationen kennen, auf denen sie aufbauen können. Das betrifft v.a. Top-Level Ontologien und Ontology Design Patterns.
4.
Auch der Anwendungskontext sollte vom Ontologienentwickler verstanden werden, da er die spezifische Ausprägung einer Ontologie beeinflussen kann.

Diese Bereiche finden Berücksichtigung in der „Guideline on Developing Good Ontologies in the Biomedical Domain with Description Logics“, die öffentlich unter http://purl.org/goodod/guideline zugänglich ist. Die auf Basis der Distanzmetriken durchgeführten Messungen in der Evaluation des Curriculums haben keinen signifikanten Effekt des Trainings auf die Fähigkeiten der Ontologieentwickler gezeigt. Die Messungen basierend auf der Erfüllung von Competency Questions konnten immerhin einen geringen signifikant positiven Effekt des Training zeigen.

Diskussion: In diesem Projekt wurde eine ambitionierte Guideline zur Entwicklung qualitativ hochwertiger Ontologie-Entwicklung bereitgestellt. Die empirische Messung der Fähigkeiten von Ontologieentwicklern durch die Qualität der durch sie produzierten Ontologien ist allerdings noch mit vielen Schwierigkeiten behaftet, so dass eine endgültige Aussage zur Wirksamkeit dieses Ansatzes noch aussteht.

Das GoodOD project (Good Ontology Design) wurde durch die DFG gefördert (JA 1904/2-1 and SCHU 2515/1-1).


Literatur

1.
Musen MA, Noy NF, Shah NH, Whetzel PL, Chute CG, Story M-A, et al. The National Center for Biomedical Ontology. Journal of the American Medical Informatics Association [Internet]. 2012 mar;19(2):190–5. http://jamia.bmj.com/content/19/2/190 [cited 2013 Apr 15] External link
2.
Boeker M, Tudose I, Hastings J, Schober D, Schulz S. Unintended consequences of existential quantifications in biomedical ontologies. BMC Bioinformatics. 2011 nov;12:456.
3.
Kern DE, Thomas PA, Hughes MT. Curriculum development for medical education: a six-step approach. 2nd ed. Baltimore, Md: Johns Hopkins University Press; 2009.
4.
Euzenat J, Meilicke C, Stuckenschmidt H, Shvaiko P, Trojahn C. Ontology Alignment Evaluation Initiative: six years of experience. Spaccapietra S, editor. Journal on Data Semantics XV. 2011;:158–92.
5.
Uschold M, Gruninger M. Ontologies: Principles, methods and applications. Knowledge engineering review [Internet]. 1996;11(2):93–136. http://journals.cambridge.org/production/action/cjoGetFulltext?fulltextid=4071856 [cited 2012 Aug 04] External link