gms | German Medical Science

GMS Medizinische Informatik, Biometrie und Epidemiologie

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS)

ISSN 1860-9171

Ontology of Bio-Medical Educational Objectives (OBEO): ein Vorschlag für eine Ontologie medizinischer Lernziele

A proposal for an Ontology of Bio-Medical Educational Objectives (OBEO)

Originalarbeit

Suche in Medline nach

  • corresponding author Martin Boeker - Institut für Medizinische Biometrie und Medizinische Informatik, Universitätsklinikum Freiburg, Deutschland
  • author Daniel Schober - Institut für Medizinische Biometrie und Medizinische Informatik, Universitätsklinikum Freiburg, Deutschland
  • author Stefan Schulz - Institut für Medizinische Biometrie und Medizinische Informatik, Universitätsklinikum Freiburg, Deutschland
  • author Felix Balzer - Institut für Medizinische Biometrie und Medizinische Informatik, Universitätsklinikum Freiburg, Deutschland; Klinik für Anästhesiologie mit Schwerpunkt operative Intensivmedizin der Charité – Universitätsmedizin Berlin, Deutschland

GMS Med Inform Biom Epidemiol 2010;6(2):Doc11

DOI: 10.3205/mibe000111, URN: urn:nbn:de:0183-mibe0001116

Veröffentlicht: 20. Dezember 2010

© 2010 Boeker et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Zusammenfassung

Zielsetzung: Mit der Ontology of Bio-Medical Educational Objectives (OBEO) wird eine formale Lernziel-Ontologie zur Annotation von Lernzielkatalogen und Lernobjekt-Ressourcen entwickelt und zur Verfügung gestellt, die es ermöglichen soll diese besser nutzbar zu machen. OBEO soll die inhaltliche Suche und Navigation von Lernzielen sowie die Beantwortung verschiedener Fragen hinsichtlich der Konsistenz, Sequenz und inhaltlichen Korrektheit von Lernzielen in Lernzielkatalogen erlauben.

Methoden: Zur inhaltlichen Spezifikation von OBEO wurden verschiedene Lernzieltaxonomien und bestehende Lernzielkataloge analysiert sowie eine Anforderungsanalyse durchgeführt. OBEO wurde auf Grundlage der Toplevel-Ontologie Descriptive Ontology for Linguistic and Cognitive Engineering (DOLCE) und der Upper-Level Ontologie BioTop entwickelt und in der Web Ontology Language (OWL) implementiert. Medizinische Inhalte können über Verweise auf bestehende Referenzterminologien und -ontologien eingebunden werden.

Ergebnisse: OBEO stellt Klassen und Relationen zur korrekten und nahezu vollständigen Repräsentation von Lernzielen bereit. OBEO formalisiert die Beziehungen zwischen Lernziel-Spezifikationen und den konkreten Aktionen, die diese realisieren, sowie den medizinischen Inhalten, die an Lernziel-Spezifikationen gebunden sind. Obwohl OBEO erst eine relativ geringe Anzahl eigener Klassen und Relationen verwendet, ist die Komplexität bereits erheblich.

Fazit: Mit OBEO steht ein prototypisches Werkzeug bereit, mit dessen Hilfe bestehende und entstehende Lernzielkataloge sowie Lernobjekt-Ressourcen annotiert werden können, um diese für verschiedene Nutzergruppen besser verwendbar zu machen. OBEO muss vor allem hinsichtlich der Repräsentation medizinischer Inhalte in Lernzielen sowie der Einbeziehung des curricularen Kontextes von Lernzielen erweitert und verbessert werden. Durch die formale Repräsentation von OBEO werden inhalts-gesteuerte Suche und Navigation der damit annotierten Daten möglich.

Abstract

Objectives: The Ontology of Bio-Medical Educational Objectives (OBEO) is a formal ontology for the annotation of educational objective catalogues and learning object resources to improve their usability. OBEO has been designed to allow semantic retrieval and navigation of educational objectives as well as the solution of questions in regard to consistency, sequence and correctness of educational objectives in databases.

Methods: To specify OBEO various educational objective taxonomies and catalogues were analyzed and a requirements analysis was performed. OBEO was developed on the foundation of the top-level ontology Descriptive Ontology for Linguistic and Cognitive Engineering (DOLCE) and the upper-level ontology BioTop. It was implemented in the Web Ontology Language (OWL). Medical content is bound by links to reference terminologies and ontologies.

Results: OBEO provides classes and relations for the correct and almost complete representation of educational objectives. OBEO formalizes the relations between educational objective specifications and the concrete actions which realize them as well as the medical contents which are bound to them. Although OBEO uses only few own classes and relations, its complexity is already extensive.

Conclusion: OBEO is a prototypical tool to annotate existing and developing educational objective catalogues and learning object resources for their better usability. OBEO has to be further developed and improved in regard to the representation of medical content in educational objectives and the inclusion of curricular context of educational objectives. The formal representation of OBEO enables the retrieval and navigation of annotated data in regard to content.

Keywords: education, medical, educational models, educational technology, curriculum, competency-based education, computer-assisted instruction, educational learning objective/goal, instructional design, educational taxonomy, educational ontology


1 Einleitung

Nur durch eine qualitativ hochwertige Aus-, Fort- und Weiterbildung von Beschäftigen im Gesundheitswesen kann die Versorgungsqualität für Patienten in Deutschland dauerhaft erhalten werden. Dabei kann die Standardisierung und Formalisierung von Lernzielen ein wichtiges Mittel sein, die Komplexität und Inkonsistenzen im Bereich der Lehre mit seinen sich dynamisch verändernden Anforderungen und Inhalten zu reduzieren.

Lernziele stehen im Zentrum jedes Lehr- und Evaluationsgeschehens [1] (Abbildung 1 [Abb. 1]). Seit über 50 Jahren dienen Lernziele als „explicit formulations of the ways in which students are expected to be changed by the educative process“ [2]. In den letzten Jahren wurde eine große Zahl von Lernzielen für die medizinische Ausbildung formuliert und in Katalogen gesammelt. Dabei sind neben Lernzielkatalogen einzelner Fakultäten auch Lernzielkataloge auf nationaler Ebene entstanden [3], [4], [5], [6], [7]. In Deutschland soll in absehbarer Zeit ebenfalls ein Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) als gemeinsames Projekt der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT) entstehen [8].

Trotz des sehr aufwändigen Prozesses gute Lernziele zu formulieren, in Katalogen zu sammeln und nach gemeinsamen Kriterien zu sortieren, haben ihre Nutzer – Lernende, Lehrende und Curriculumsentwickler – davon bisher nur eingeschränkten Nutzen. Die Hauptursache dafür sind Such-und Zugriffsprobleme, also die Schwierigkeit in einer großen Zahl heterogen definierter Lernziele zu einem Thema, die zu einem konkreten Kontext passenden zu finden: Inhalte eines medizinischen Curriculums, das die gesamten prä-klinischen und klinischen Fächer abdecken muss, sind so verschieden wie die Erwartungen an das Wissen, die Kenntnisse, die Fähigkeiten und die Kompetenzen der zukünftigen Ärzte und anderer Beschäftigter im Gesundheitswesen.

Bisher wurden Lernziele in einer mehr oder weniger festgelegten Form narrativ und ohne jede Referenz auf vorhandene standardisierte Terminologien formuliert. Zu selten wird beispielsweise in krankheits- oder symptombezogenen Katalogen auf die International Classification of Diseases (ICD) verwiesen. Als Konsequenz kann die Bedeutung von Lernzielen unterschiedlich interpretiert werden und vorhandene Lernziel-Hierarchien sind zwar intuitiv aber nur informell definiert.

Zur Verbesserung der Nutzbarkeit von Lernzielkatalogen können Ontologien dienen, mit deren Hilfe Bedeutung eindeutig und sprachunabhängig in einem logischen System aus Klassen und den Beziehungen zwischen den Klassen festgelegt wird. Mit Ontologien können heute komplexe realweltliche Zusammenhänge in einer formalisierten Sprache semantisch eindeutig repräsentiert werden, so dass diese auch von Computerprogrammen interpretierbar sind. Damit kann erreicht werden, dass Lernziele bzw. zugeordnete Lernobjekte in großen Katalogen besser auffindbar, navigierbar und insgesamt vielfältiger nutzbar werden.

Es ist Gegenstand dieser Arbeit, die Strukturen von Lernzielen und Lernziel-Taxonomien in einer formalen Ontologie zu repräsentieren, die die gegebenen realweltlichen didaktischen und medizinischen Gegenstände in philosophischer und informatischer Hinsicht möglichst korrekt abbildet. Mit der Ontologie bio-medizinischer Lernziele (OBEO) stellen wir hier einen ersten Prototyp vor, mit dessen Hilfe vorhandene Lernziel-Kataloge und Lernressourcen annotiert werden können, um sie damit besser nutzbar zu machen.


2 Hintergründe

2.1 Zur didaktischen Funktion von Lernzielen

Die Formulierung von Lernzielen spielt eine zentrale Rolle in der Entwicklung eines medizinischen Curriculums, indem allgemeine und spezifische Anforderungen und Bedürfnisse verschiedener Nutzer des Curriculums, insbesondere der anvisierten Lerner, adressiert werden [9]. Die besondere Bedeutung der Lernziele wird anschaulich durch die unterschiedlichen Rollen, die sie im Lehr-/ Lernprozess einnehmen können (Abbildung 1 [Abb. 1]). Lernziele vermitteln:

  • den Fokus der Instruktion/Lehre
  • Guidelines für das Lernen
  • Ziele des formativen und summativen Prüfens
  • die Zielsetzung der Lehre an Dritte
  • Möglichkeiten der Lehr-Evaluation

Lernziele erhöhen die Transparenz der Lehre, da schon während der Planung Ziele explizit sind, die in der späteren Evaluation überprüft werden. Studierende erhalten mit Lernzielen eine verständliche Struktur überlassen, die sie zur Vorbereitung auf Kurse und Prüfungen nutzen können. Prüfungen werden durch die klare Formulierung des Erwartungshorizontes objektiver und nachvollziehbarer. Die Möglichkeit der Studierenden zum gezielten Feedback an Lehrende, wenn festgelegte Lernziele im Unterricht nicht erreicht werden, kann als Element der Demokratisierung betrachtet werden [10].

Das Medizinstudium bleibt durch seinen hohen Anteil an erforderlichem Faktenwissen eines der anspruchsvollsten Studienfächer. Zur objektiven Bewertung von Studienleistungen in diesem komplexen Fach ist die Formulierung von konkret messbaren Lernzielen erforderlich [11]. Als die Association of American Medical Colleges 1953 erste Lernziele veröffentlicht hat, waren diese allerdings noch so vage gehalten, wie beispielsweise „to achieve basic skills in winning and holding the confidence of patients and their families“. Diese Ungenauigkeit wurde insbesondere bei Lernzielen deutlich, die auf die Vermittlung von Verhaltensweisen oder Einstellungen ausgerichtet waren [12]. Solange aber Ziele nicht klar und deutlich formuliert sind, können Prüfungen bestenfalls irreführend schlimmstenfalls irrelevant sein [11].

Kassebaum konnte bei seinen Untersuchungen nachweisen, dass medizinische Fakultäten, die präzise Lernziele festgelegt haben, häufiger als andere eine zentrale Verwaltung des Curriculums eingerichtet hatten, an Reformprozessen beteiligt waren, POL-Gruppen anboten und strukturierte mündlich-praktische Prüfungen zur Evaluation der Studierendenleistungen durchführten [12].

2.2 Lernzieltaxonomien

Als Meilenstein der Lernzieltheorie können die Arbeiten von Benjamin Bloom et al. betrachtet werden, aus denen 1956 die „Taxonomy of Educational Objectives: The Classification of Educational Goals“ hervorgegangen ist. Lernziele werden darin in die drei Gruppen „kognitiv“ [2], „affektiv“ [13] und „psychomotorisch“ [14], [15] unterteilt. Der kognitive Bereich beschreibt die Fähigkeit einer Person, Faktenwissen aufzunehmen und in einer logisch sinnvollen Weise zu verarbeiten. Affektive Lernziele definieren zu erlangende Grundeinstellungen und Haltungen, die aus einem Lernprozess resultieren. Lernziele aus dem psychomotorischen Bereich beziehen sich auf die Entwicklung motorischer Fertigkeiten. Bloom weist diesen Bereichen verschiedene Stufen zu, die, vergleichbar mit einer Pyramide, aufeinander aufbauen.

So hoch der praktische Stellenwert von Blooms Lernzieltaxonomie heutzutage ist, desto erstaunlicher ist die Tatsache, dass nur in wenigen Studien die Theorie empirisch untersucht wurde. Corte weist darauf hin, dass die Taxonomie auf einem hypothetischen Konstrukt einer hierarchisch kumulativen Struktur aufbaut und geht in seiner Arbeit dieser Tatsache nach [16]. Eine Betrachtung verschiedener Untersuchungen hat dabei ergeben, dass die rein hypothetische Ordnung der niedrigeren Stufen in Blooms Taxonomie relativ gut experimentellen Beobachtungen entsprechen, wobei hingegen die Stufen höherer Ordnung, beispielsweise Synthese und Beurteilung, unterschiedliche sich zum Teil widersprechende Ergebnisse aufweisen [16]. In späteren Reviews können die Autoren ebenfalls nur widersprüchliche Aussagen über die psychologischen [17] und philosophischen [18] Eigenschaften von Blooms Lernzieltaxonomie finden.

Blooms Theorie basiert auf dem Behaviorismus und geht damit davon aus, dass der Lernprozess bzw. der Gewinn an Wissen als Verhaltensänderung beobachtbar sein muss. Allerdings ist nicht jeder Wissenszuwachs in Verhaltensänderungen messbar, und bestimmte Fähigkeiten zeigen sich mitunter erst nach längerer Zeit. Von einem konstruktivistischen Standpunkt kann sich der Lernende durch ihm auferlegte Lernziele auch überfordert fühlen, so dass der Lernprozess insgesamt sogar behindert werden kann. Unter Berücksichtigung konstruktivistischer Beobachtungen, haben Anderson und Krathwohl eine differenziertere Version von Blooms Taxonomie entwickelt [19]. Die wichtigste Ergänzung ist dabei die Einführung einer zwei-dimensionalen Betrachtungsweise, die Verbindungen zwischen dem kognitiven Prozess einerseits und der Wissensdimension andererseits herstellt.

2.3 Struktur von Lernzielen

Lernziele werden heute meistens als das zu erreichende Lernergebnis am Ende des Instruktionsprozesses formuliert, so dass sie erlauben, die Lehrenden hinsichtlich des Erreichens dieses Ergebnisses zu überprüfen. Wenn die Lernziele auf diese Weise formuliert werden, repräsentieren sie eindeutig und klar, was von den Lernenden nach dem Lernprozess erwartet wird, z.B. durch die Demonstration von Wissen, die Ausübung von psycho-motorischen oder kommunikativen Fähigkeiten oder sogar in der Ausübung des komplexen Verhaltens, das mit bestimmten Haltungen verbunden sein kann.

Bisher gibt es aber keinen einheitlichen Weg Lernziele zu formulieren, wobei sie allerdings oft einem paraphrasierten Schema wie im folgenden Beispiel folgen:

The physician is able to assess a patient presenting this problem [from a list of given medical problems] in a well-structured way, and to establish a differential diagnosis.

She/he is able to propose appropriate diagnostic, therapeutic, social, preventive and other measures, and to provide urgent intervention in case of life-threatening problems [3]

Dieses Lernziel definiert (1) WER (2) WIE VIEL oder WIE GUT von (3) WAS (4) TUN kann. D.h. ein Lernziel-Ausdruck umfasst einen (1) AGENTEN (normalerweise den spezifisch andressierten Lernenden), der eine bestimmte (4) AKTION, die einem definierten (2) PERFORMANZ-LEVEL zugeordnet ist, ausführt, um seine erworbenes (X) WISSEN oder seine erworbenen FÄHIGKEITEN und HALTUNGEN hinsichtlich eines gegebenen (3) INHALTES unter Beweis zu stellen. Es wird hierbei deutlich, dass das eigentlich zu erwerbende WISSEN oder die zu erwerbenden HALTUNGEN (X) nicht direkt beobachtbar und messbar sind.

2.4 Metadatenbeschreibungen für Lernobjekte

„A digitized entity which can be used, reused or referenced during technology supported learning“ ist eine verbreitete Definition des Begriffs „Lernobjekt“ [20]. Die Autoren geben die allgemein anerkannten Eigenschaften, über die ein Lernobjekt (LO) verfügen sollte, wie folgt an: Wiederverwendbarkeit, Zugänglichkeit, Interoperabilität/Portabilität und Langlebigkeit.

Im Bereich des E-Learning haben sich bereits Standard-Metadatenbeschreibungen für Lernobjekte durchgesetzt, die eine mehr oder weniger festgelegte Semantik besitzen. Eine Lernzielontologie kann diese Standards um didaktische Informationen zur Nutzung von Lernobjekten in spezifischen Kontexten erweitern, da die Metadatenbeschreibungen diese nicht zur Verfügung stellen können.

Erste Versuche einen Standard für Lernobjekte im E-Learning zu etablieren, lassen sich auf die achtziger Jahre zurückführen, als Fluggesellschaften mit dem Problem konfrontiert wurden, dass eine immer größere Zahl von sich unterscheidenden E-Learning-Lösungen auf dem Markt erschien. Das „Aviation Industry Computer-Based Training Committee“ formulierte als Instanz der Flugzeughersteller Empfehlungen für die Entwicklung von E-Learning-Anwendungen. Da diese Empfehlungen von allgemeiner Natur und nicht auf die Bedürfnisse der Luftfahrtindustrie beschränkt waren, war damit ein erster Schritt für einen E-Learning-Standard geschaffen. Heute kann das Institute of Electrical and Electronics Engineers (IEEE) als zentrale Institution angesehen werden, die sich mit der Standardisierung von E-Learning beschäftigt. Aus dem Standard 1484.12.1 - 2002 ist das Learning Object Metadata-Format (LOM) hervorgegangen. Dieses ist aus neun Kategorien aufgebaut. Dabei erschließt sich die Semantik eines Elements erst aus seinem Kontext und muss in Relation zu seinem übergeordneten Element betrachtet werden.

Die LOM-Spezifikationen der IEEE wurden durch verschiedene Arbeitsgruppen für die individuellen Belange von Lernumgebungen modifiziert. So wurde beispielsweise der ANZ-LOM-Standard zum Einsatz in Neuseeland und Australien konzipiert und der UK-LOM-Core für die universitäre Lehre im Vereinigten Königreich.

Obwohl das LOM-Format die Kategorie „educational“ enthält, kann die didaktische Bedeutung von Lernobjekten im Lernprozess nicht beschrieben werden. Es kann zwar dargestellt werden, was gelernt werden soll – das wie zur Beschreibung didaktischer Begebenheiten entzieht sich aber der Modellierung [21]. Aus dieser Beobachtung ist ein Konzept entstanden, dass didaktische Rollen in die Beschreibung von Metadaten aufnimmt [22].

Es hat sich in Deutschland gezeigt, dass aus der Vielzahl entwickelter E-Learning-Projekte lediglich 20% eine reelle Chance haben, auf Dauer zu überleben, wenn die Fördergelder verbraucht sind [23]. Nicht nur die Komplexität der Systeme mit den damit verbundenen Kosten für Betrieb und Wartung, sondern auch die mangelhafte Einbindung in das universitäre Curriculum sind dafür als Gründe zu nennen [24]. Für Studierende und Lehrende ist es nicht einfach im Internet E-Learning-Ressourcen zu finden, die ihrem Wissenstand und aktuellen Bedürfnissen entsprechen. Lernobjekte, die spezifischen Lernzielen zugeordnet und damit mit einer Lernzielontologie annotiert sind, würden dem Nutzer gerade diese fehlende Funktionalität bieten.

2.5 Verwendung formaler Ontologie zur Lernzielrepräsentation

Als „study of what there is“ bezeichnet Quine die Ontologie [25]. Man kann mit Recht behaupten das die Ontologie die älteste Wissenschaft ist, auf deren Traditionen auch die moderne philosophische Ontologie aufbaut. Dagegen abzugrenzen ist eine Ontologie im technischen-informatischen Sinne, für die ein triadisches Zeichenmodell charakteristisch ist, wobei sich Wörter und Symbole auf Konzepte (Klassen) beziehen, die ihrerseits wiederum realweltliche materielle oder immaterielle Gegenstände oder Artefakte repräsentieren [26]. Stenzhorn et al. kombinieren beide oben genannten Ansätze und definieren formale Ontologien als Theorien, die versuchen, anhand von Axiomen und Definitionen […] Entitäten in der realen Welt mit ihren Eigenschaften und Beziehungen untereinander präzise und explizit darzustellen. Da Ontologien im Gegensatz zu Terminologien nicht durch sprachliche Konstrukte, sondern durch logisch definierte Formalismen Gegenstände der Realwelt beschreiben, sind sie geeignet, unabhängig von sprachlichen Eigenschaften Weltausschnitte semantisch präzise zu repräsentieren. Als solides und sprachunabhängiges Instrumentarium können sie so eine große Hilfe in der Standardisierung von Begrifflichkeiten bieten [27].

Zu den prominenten Einsatzmöglichkeiten von Ontologien zählen u.a. „intelligente“ d.h. inhaltsbasierte Suche, leichtes Auffinden digitaler Ressourcen und sinnvolles Dokumentenretrieval unter akzeptablem recall bei hoher precision [28]. Diese hoffnungsvollen Schlagwörter definieren aber allein keinen nutzungsspezifischen Kontext. Im Bereich des E-Learning sieht Borst folgende Anwendungsfälle, deren Bedeutung in den letzten Jahren immer größer geworden ist [28]:

  • Unterstützung von (verteilten) Autorenprozessen
  • Herstellung von Interoperabilität
  • Beschreibung von Lernobjekten im E-Learning
  • Anpassung von Lerninhalten an verschiedene Lernertypen und -profile
  • Beschreibung von Lernertypen und individuellem Lernfortschritt

Bei einer Bestandsaufnahme der Nutzung von Ontologien bei der Repräsentation von Lernzielen betritt man vielfach wissenschaftliches Neuland. Für das Fach Informatik an Schulen wurde von Fellermayr ein Lernzielontologe skizziert [29], die sich auf die theoretischen Überlegungen Stallers stützt [30]. Staller greift die Idee auf, „domain knowledge“ und „task analysis“ auf ontologisch korrekte Weise zu verbinden, um damit eine Brücke zwischen Lernobjekten und Lernzielen aufzubauen. Dabei verfolgt er das Ziel, eine höhere Genauigkeit des Ausdrückbaren auf didaktischer Ebene zu erreichen. Der Begriff „task analysis“ basiert auf der Konzeption von Smith und Ragan [31]. Sie schlagen vor, jedes „learning goal“ einer „information processing analysis“ und einer „prerequisite analysis“ zu unterziehen. Ersteres soll die mentalen Schritte spezifizieren, die zum Lösen einer Aufgabe erforderlich sind. Letzteres legt für jeden einzelnen Schritt fest, wozu ein Lernender in der Lage sein muss, um diesen Schritt absolvieren zu können. Eine solche „prerequisite“ verbindet Staller dann mit einem kognitiven Prozess einerseits und einer Wissendimension andererseits – und stützt sich dabei auf die zweidimensionale Konzeption von Anderson und Krathwohl [19]. Zur Abbildung eines Lernziels auf diesen beiden Dimensionen führt er die Eigenschaften „has_knowledge“ und „has_cognitive_process“ ein, die einer „prerequisite“ zugewiesen werden.

Der Begriff der didaktischen Ontologie wird je nach Autor höchst unterschiedlich ausgelegt. Für Meder, der sich im Rahmen des BMBF-Leitprojektes „Lebenslanges Lernen“ mit einer didaktischen Ontologie für den Bildungsbereich beschäftigt, handelt es sich um ein Verschlagwortungs- oder Metadatensystem [32], [33].

Wir schlagen deshalb hier vor, den Prinzipien von formalen Ontologien zur Repräsentation von Lernzielen zu folgen. Eine derartige formalontologisch definierte Ontologie von Lernzielen ist zur Annotation narrativ formulierter Lernziele in Lernzielkatalogen geeignet und ermöglicht damit u.a. folgende Operationen auf Lernzielkatalogen:

Semantische Suche und Navigation: Durch die hierarchisierte Struktur einer Ontologie, die ganz verschiedenen Kriterien folgen kann (didaktischen und organisatorischen Gesichtspunkten wie Kompetenzniveau, Semester der Lehre, Unterrichtseinheit; aber auch inhaltlichen wie der Anatomie mit Lokalisation und Teile-Ganzes-Beziehungen, Ätiologie, Krankheit, Symptom, etc) ist es möglich, eben nach diesen Kriterien Lernziele zu suchen oder in einer Oberfläche zu „browsen“. Eine Beispielanfrage könnte sein: „Welche Lernziele gibt es für mich im ersten klinischen Semester, die sich auf Stoffwechselerkrankungen beziehen? Auf welchen Lernzielen bauen sie auf?“. Eine ontologische Interpretation der Anfrage kann über Inhalte abstrahieren, d.h. Spezialfälle unter generalisierte allgemeine Fälle subsummieren. Diese Eigenschaft ermöglicht einen inhaltsbasierten Zugriff auf die Daten, was letztlich precision und recall der Anfrage-Ergebnisse erhöht.

Konsistenzcheck: Häufig bauen Lernziele nicht in einer logischen Weise aufeinander auf oder sind redundant. Dem Curriculumsplaner fehlt dabei eine Möglichkeit in hunderten von Lernzielen die Sequenz und Abfolge inhaltlich zu kontrollieren. Auf Basis einer Ontologie kann festgelegt werden, wie sich Lernziele aufeinander beziehen, womit sie die interne Logik des Lehrplans explizit machen. Wenn z.B. durch Veränderung oder Verschiebung von Lernzielen in anderen Bereichen des Curriculums die logische Abfolge beeinträchtigt wird, kann dies von einer Software, die als Wissensbasis eine Lernzielontologie nutzt, erkannt werden und ein Curriculumsplaner kann sofort darauf reagieren.

Aufbau und Wartung: Anhand der formalisierten expliziten Struktur der Ontologie können Werkzeuge zur Formulierung von Lernzielen implementiert werden, mit deren Hilfe es Dozierenden erleichtert wird, qualitativ hochwertige und im Rahmen des Curriculums konsistente Lernziele zu formulieren (quality assurance).

Semantische Mediation und Interoperabilität: Über dieselbe Lernzielontologie kann auf heterogene Datenbanken unterschiedlicher Einrichtungen über die gemeinsame formale Semantik der Ontologie zugegriffen werden. Damit werden verschiedene Lernzielkataloge trotz ihrer strukturellen Unterschiedlichkeit in einem gewissen Rahmen gemeinsam nutzbar und vergleichbar, womit z.B. eine gemeinsame Nutzung derselben Kataloge auf individualisierter Basis für einzelne Fakultäten einfacher wird. Auch ein formaler Vergleich verschiedener Fakultäten und Studiengänge auf Ebene von Lernzielen rückt damit ein Stück näher.

Ontologisch fundierte Grundlage für Informationsmodelle: Eine Ontologie kann als semantisch eindeutiges Modell zur Entwicklung von Informationsmodellen (Datenbankschemata, Klassenmodelle in der Objekt-orientierten Entwicklung) dienen. Da in Ontologien Relationen und Klassen explizit formal definiert sind, können die Relationen und Entitäten in Datenbankschemata, die semantisch nicht eindeutig bestimmbar sind, wenigstens mit ihrer Hilfe „dokumentiert“ werden. Wenn ein formales ontologisches Modell vor der Datenbank- oder Software-Entwicklung zur Verfügung steht, können Fehler und Rückschritte in der Entwicklung häufig vermieden werden.


3 Methoden

3.1 Spezifikation der Domäne

Für Ontologen ist eine der größten Schwierigkeiten der Ontologie-Entwicklung, die Domäne soweit zu verstehen und zu „umreißen“, dass sie diese überhaupt formal definieren können. In der Regel sind Ontologie-Entwickler keine Domänen-Experten (was für das Team im Fall von OBEO nicht zutrifft).

Für die inhaltliche Spezifikation der Domäne stehen mehr oder weniger formale Methoden, die teilweise aus der Software-Entwicklung bekannt sind, zur Verfügung. Sie umfassen Anforderungs- und Systemanalyse, aber auch Quellenstudium und maschinelle Textminingverfahren.

Für jede Nutzergruppe können eine Reihe von Fragen definiert werden, die mit Hilfe eines semantisch annotierten Lernzielkataloges zu beantworten sein sollten. Solche sogenannten Competency Questions helfen die Spezifikation für ein System in Bezug auf verschiedene Anwender zu fixieren und dienen der Überprüfung der inhaltlichen Abdeckung (coverage) der Ontologie in der Evaluationsphase. Beispiele für verwendete Competency Questions sind: Was muss ich als Lernender zu einer bestimmten anatomischen Struktur/ Krankheit in einem bestimmten Semester lernen? Was muss ich als nächstes zu einem Thema lernen? Welches Wissen wird von mir auf welchem Niveau in einer bestimmten Klausur erwartet? Was muss ich in meiner Lehrveranstaltung auf welchem Niveau lehren? Was kann und muss ich wie und wie tief in diesem Examen prüfen? Ist die Sequenz der Lehre inhaltlich korrekt? Welche Redundanzen und Lücken gibt es in unserem Curriculum?

Desweiteren wurden ausschlaggebende Quellen zu Lernziel-Taxonomien analysiert, um die Struktur verschiedener Lernzieldefinitionen und -taxonomien zu erkennen. Auf dieser Grundlage wurde eine formale Repräsentation entwickelt, die hinsichtlich verschiedener Frameworks erweiterbar ist. Zurzeit ist in OBEO nur die Bloomsche Taxonomie implementiert.

Bestehende nationale und institutionelle Lernzielkataloge wurden auf ihre Struktur und die verwendeten Lernziel-Taxonomien hin untersucht, um die entstehende Ontologie laufend auf ihre Verwendbarkeit zur Annotation zu überprüfen.

3.2 OWL

Die Sprache mit der heutige Ontologien in der Regel entwickelt werden, ist die Web Ontology Language (OWL) in der Version 2, die durch das World Wide Web Consortium standardisiert wird [34]. OWL 1 definiert drei Sprachdialekte, die sich hinsichtlich ihrer Ausdrucksmächtigkeit unterscheiden: OWL Lite, OWL DL und OWL Full. OWL Full ermöglicht es die volle Ausdrucksmächtigkeit der Prädikatenlogik 1. Ordnung zu verwenden, ist allerdings nicht berechenbar – d.h. Ontologien, die mit diesem Dialekt verfasst werden, können (möglicherweise) nicht mit Rechnern klassifiziert werden [35].

OWL DL verwendet eine Teilmenge der Prädikatenlogik 1. Ordnung, die sog. Beschreibungslogik (description logic), deren Sprachumfang einen Kompromiss aus Ausdrucksfähigkeit und Berechenbarkeit durch sog. DL Reasoner darstellt. OWL DL folgt einer mengen-theoretische Semantik, d.h. alle Aussagen über Beziehungen zwischen Entitäten, die mit OWL DL gemacht werden können, betreffen Instanzen (in entsprechenden Klassen) [35]. Da OWL DL nicht der vollen Prädikatenlogik entspricht, können auch nicht alle Aussagen über eine entsprechenden Weltausschnitt mit OWL DL ausgedrückt werden. Dort wo es dennoch möglich ist, müssen teilweise umständliche „workarounds“ verwendet werden.

Die oben genannten Eigenschaften von OWL DL machen Ontologien, die mit dieser Sprache exprimiert werden, für Laien nahezu unverständlich und selbst Experten haben oft Probleme komplexe Ausdrücke zu verstehen. Es stehen also den Vorteilen einer eindeutigen Semantik von OWL DL und mindestens einer theoretischen Berechenbarkeit die Nachteile sehr hoher Komplexität für menschliche Nutzer und technischer Anwendungen entgegen. Daher werden OWL Ontologien in graphischen Entwicklungsumgebungen, wie dem Ontologie Editor Protege 4.x entwickelt, die den Entwickler von der OWL Komplexität teilweise abschirmen und mit einem graphischen Nutzerinterface unterstützen [36].

3.3 Toplevel-Ontologien und biomedizinische Referenzontologien

OBEO wurde auf Grundlage und unter Wiederbenutzung zweier bereits ausformulierter und etablierter Ontologien entwickelt. Klassendefinitionen für abstrakte, domänen-unabhängige Oberklassen werden von der Toplevel-Ontologien Descriptive Ontology for Linguistic and Cognitive Engineering DOLCE [37] bereitgestellt. Biomedizinische Klassendefinitionen entstammen der Upper-Level Ontologie BioTop [38]. Die Lernziel Ontologie nutzt die akzeptierten und verifizierten Grundstrukturen und -relationen dieser importierten Ontologien um auf den vorhandenen Strukturen aufbauen und Design-Fehler von vornherein vermeiden zu können.

Der Korpus von medizinischen Lernzielen bezieht sich auf definierte medizinische Inhalte, die ihrerseits durch eine ganze Reihe vorhandener biomedizinischer Vokabularien und Terminologien abgedeckt sind. Aus diesem Grund bezieht sich die hier vorgestellte Lernziel-Ontologie auf diese bereits existierenden terminologischen bzw. ontologischen Ressourcen, indem sie diese entweder inkludiert oder referenziert. Wichtige Entitäten zur Definition spezifischer medizinischer Lernziele beziehen sich auf anatomische und molekulare Strukturen, die Ätiologie, die Epidemiologie, die klinischen und diagnostischen Eigenschaften von Krankheiten, clinical pathways, diagnostische und interventionelle Techniken, etc. Auch in diesen Bereichen existieren Referenzterminologien und -ontologien, z.B. SNOMED CT [39] für die klinische Domäne, das Foundational Model of Anatomy für die Anatomie [40], die Gene Ontology [41] und UniProt [42] für molekularbiologische Entitäten, verschiedene OBO Foundry [43] Ontologien für die theoretischen biomedizinischen Inhalte und die Information-Artifact-Ontology für Informationsartefakte und intellektuelle Produkte [44].


4 Ergebnisse

Die hier vorgestellte Ontology of Bio-Medical Educational Objectives (OBEO) ist als „work-in-progress“ Entwurf zu verstehen und kann unter dem URL http://www.imbi.uni-freiburg.de/ontology/obeo/obeo.owl heruntergeladen werden. Sie verwendet als Upper-Level Ontologie BioTop (375 Klassen, davon 99 voll definiert; 76 Objekt-Relationen) [38] und folgt der Konstruktion der DOLCE Toplevel-Ontologie (DOLCE-Lite mit 37 Klassen und 70 Objekt-Relationen) [37]. OBEO ist mit 72 eigenen Klassen und 12 Objekt-Relationen noch relativ klein. Aufgrund der komplexen Domäne, die didaktische Frameworks, edukative Prozesse und medizinische Sachverhalte verbindet, ist allerdings auch die Komplexität von OBEO schon beträchtlich (Abbildung 2 [Abb. 2]).

Grundsätzlich können verschiedene Klassen von Instanzen unterschieden werden. Materielle Dinge sind beispielsweise die Learner oder auch anatomische Strukturen. Prozesse, Zustände und Aktionen laufen in der Zeit ab und haben zeitliche Teile (EducationalProcess, EducationalAction aber auch PathologicalProcess). Materielle Dinge partizipieren in Prozessen, Zuständen und Aktionen. Da jeder EducationalProcess die Existenz eines Learners fordert, nutzt man in Klassendefinitionen existentielle Restriktionen (Schlüsselwort: SOME): EducationalProcess has-participant SOME Learner. Plans, Objectives und IntellectualProducts sind immaterielle Dinge in der Welt. Instanzen der Klasse EducationObjectiveSpecification sind Teile von Instanzen der Klasse EducationalObjective und BloomsTaxonomy mit ihren Komponenten ist ein IntellectualProduct. Die Beziehungen von immateriellen Dingen zu Prozessen, Zuständen und Aktionen sind komplex, denn Instanzen von Plan und Objective müssen sich nicht realisieren aber sie können es (sie sind Realizables). Es kann ein Plan formuliert werden, ohne dass er jemals umgesetzt wird, daher kann hier keine existentielle Restriktion verwandt werden, sondern nur eine sog. Werte-Restriktion (Schlüsselwort: ONLY), die nicht fordert, dass eine Instanz der Zielklasse wirklich zur Existenz kommt: EducationPlanSpecification has-realization ONLY EducationalProcess. Immaterielle Dinge (insbesondere IntellectualProducts) können auch als Zeichen für andere Dinge stehen: ComponentBloomsTaxonomy encodes ONLY EducationalAction.

Alle oben beschriebenen Dinge können durch Qualitäten (Eigenschaften) differenziert werden, die verschiedene Werte einnehmen können. Beispielsweise können KnowledgeLevel oder SkillLevel sehr einfach als Qualitäten in einer EducationalObjectiveSpecification repräsentiert werden (nicht dargestellt). Dispositionen, Rollen und Funktionen sind ähnlich wie Qualitäten abhängige Eigenschaften von Dingen, wobei ihr ontologischer Status allerdings immer noch Gegenstand aktueller wissenschaftlicher Diskussion ist: SuccessfulLearner bearer-of SOME LearnedDisposition.

Im Zentrum von OBEO steht die EducationalObjectiveSpecification (Abbildung 3 [Abb. 3]). Mindestens eine EducationalObjectiveSpecification ist Teil einer EducationalPlanSpecification (z.B. eines Curriculumsplans für eine Lehrveranstaltung). Beide Spezifikationen müssen aber nicht realisiert werden, denn sowohl ein Plan als auch ein Ziel können existieren, ohne dass sie jemals umgesetzt oder erreicht werden. Darüber hinaus kann eine EducationalPlanSpecification realisiert werden, ohne dass das spezifische Lernziel erreicht wird: die Existenz des EducationalProcess als Realisierung der Plan-Spezifikation hängt also zunächst nicht mit der Existenz einer EducationalAction als Realisation einer Lernziel-Spezifikation zusammen.

Der Zusammenhang zwischen einem EducationalProcess und dem Erreichen von spezifischen Lernzielen in einem SucessfulEducationalProcess ist in Abbildung 4 [Abb. 4] dargestellt. Jeder edukative Prozess hat Lerner als Teilnehmer, die als erfolgreich – als SuccessfulLearner – bezeichnet werden, wenn sie die Disposition (erworben) haben (LearnedDisposition), die durch die EducationalAction realisierbar ist, die auch die Realisierung der EducationalObjectiveSpecification ist, die Teil der EducationalPlanSpecification ist. Kurz gesagt, wenn die Lerner das ausführen können, was in der EducationalObjectiveSpecification definiert ist, dann gelten sie als erfolgreich.

Ein EducationalProcess ist dann erfolgreich, wenn er mindestens einen SuccessfulLearner hat.

Auf die eigentlichen biomedizinischen Lerninhalte wird aus OBEO heraus auf Referenzterminologien und -ontologien verwiesen, wobei allerdings nicht direkt auf Klassen dieser Ressourcen referenziert wird, sondern über Blueprint-Instanzen (Abbildung 5 [Abb. 5]). Ein Blueprint selber ist ein Plan, in dem definiert werden kann, was von den realen Instanzen in der Welt gelernt werden soll, in welcher Tiefe und wie stark für didaktische Zwecke vereinfacht.

So können zu einem Thema im selben Ausbildungsgang aber zu verschiedenen Zeiten ganz verschiedene Aspekte des Themas in unterschiedlicher Tiefe wichtig sein. In den seltensten Fällen wird es nötig sein, Alles was zu einem Thema bekannt ist (und durch die einfache Referenz auf eine Standardontologie repräsentiert ist) zu lernen. Wie sich diese Einschränkungen über Blueprint-Instanzen modellieren lassen, ist zurzeit noch Gegenstand weiterer Arbeiten.

Mit der hier vorgestellten Ontologie biomedizinische Lernziele (OBEO) ist es bereits möglich Instanzen entsprechend der vorhandenen Klassen zu klassifizieren. Es konnte z.B. gezeigt werden, dass Instanzen hinsichtlich ihrer hierarchischen Stufe in der Bloomschen Taxonomie korrekt eingestuft werden. Damit können wir grundsätzlich zeigen, dass OBEO zur Annotation von Lernziel- und Lernobjektkatalogen geeignet ist, um die oben dargestellten Ziele zu erreichen.


5 Diskussion

Für Lernende, Lehrende und Curriculumsentwickler stehen Lernziele im Zentrum des edukativen Prozesses, weshalb umfangreiche medizinische Lernzielkataloge auf nationaler und institutioneller Ebene entstanden sind [3], [4], [5], [6], [7] und am entstehen sind [8]. Allerdings bleibt ihr Nutzen v.a. deshalb oft hinter den Erwartungen zurück, da sie schlecht nach inhaltlichen Kriterien durchsuch- und navigierbar sind.

Mit formalen Ontologien lässt sich „Bedeutung“ semantisch eindeutig festlegen und auch für Computerprogramme interpretierbar machen. Um die Nutzbarkeit von Lernzielkatalogen und Lernobjekt-Ressourcen im weitesten Sinne verbessern zu können, stellen wir hier die Ontologie biomedizinischer Lernziele (OBEO) als ersten Prototyp vor. Die Entwicklung von OBEO folgt dabei bestimmten Anforderungen:

1.
Vollständigkeit und Korrektheit der Repräsentation von Lernzielen: Bevor ein Modell für medizinische Lernziele entworfen werden konnte, musste untersucht werden, wie sich die etablierten didaktischen Taxonomien formal ontologisch repräsentieren lassen und ob diese sich in untereinander in Beziehung setzen lassen. Ferner stellt sich die Frage, wie sich die eigentlichen medizinischen Lerninhalte mit Lernzielen auf formal-ontologisch korrekte Weise verbinden lassen. In diesem Zusammenhang haben sich Probleme logischer und philosophischer Natur ergeben.
2.
Eignung der Repräsentation zum formalen Schließen und Klassifizieren hinsichtlich verschiedener Fragestellungen:
a. Formale Widerspruchsfreiheit
b. Korrektheit der Formulierung von Lernzielen
c. Sequenzierung von Lernzielen im Curriculum
d. Folgerichtigkeit des inhaltlichen Aufbaus von Lernzielen
e. Vollständigkeit und Redundanz/Überlappung von Lernzielen
f. Granularität von Lernzielen
3.
Verbesserung der Nutzbarkeit von Lernzielkatalogen sowie von E-Learning-Ressourcen durch Verbindung (Annotation) mit einer formalen Lernzielontologie:
Die semantisch gesteuerte Suche und Navigation stehen dabei im Vordergrund.
4.
Aufwands- und Machbarkeitsanalyse: Schließlich darf der Aufwand nicht aus den Augen verloren werden, eine Lernzielontologie in der Medizin mit dem Ansatz von OBEO aufzubauen und größere Kataloge damit auszuzeichnen. Ferner müssen auch die Entwicklungskosten einer Software, die OBEO verwenden soll, abgeschätzt bzw. möglichst gering gehalten werden.

Mit dem bisherigen Prototyp von OBEO wurden die Anforderungen 1. bis 3. mindestens im Ansatz erreicht. Wenn auch das Modell hinsichtlich der Repräsentation der biomedizinischen Inhalte und des curricularen Umfeldes noch unvollständig ist, bietet OBEO bereits einen tragfähigen Kern, didaktische Modelle mit den konkreten Prozessen und Aktionen der Lehre zu repräsentieren.

Wie sich schon jetzt zeigt, ist die Komplexität des noch unvollständigen formalen Modells sehr hoch (Abbildung 2 [Abb. 2]). Damit ist ein erheblicher Aufwand für Annotation und Programmierung von Anwendungen verbunden, der sich aber auch in anderen Projekten zeigt, die formale Ontologien verwenden. Besonders die Anforderung, OBEO zur Verbesserung einer graphischen Benutzeroberfläche zur Suche und Navigation von Lernzielen einzusetzen, ist davon betroffen. Ein möglicher Schritt aus einer Komplexitätsfalle heraus, ist die Verwendung einer semantisch stark vereinfachten Ontologie, nachdem die Domäne vollständig und korrekt ontologisch abgebildet worden ist. Mit derartigen auf individuelle Anwendungen zugeschnittenen Ontologien, wären deutlich geringere Kosten und höhere Anwendungsperformance verbunden, wobei sie allerdings nicht mehr auf einfache Weise universell einsetzbar wären.

Die nächsten Schritte in der Entwicklung von OBEO betreffen v.a. die vollständige Repräsentation von Blueprint-Objekten, mit denen ein Plan definiert werden kann, was genau inhaltlich gelehrt werden soll (Abbildung 5 [Abb. 5]). Das Modell dieser „Einschränkungen“ und „Anpassungen“ auf den medizinischen Gegenständen in der realen Welt kann sehr komplex sein, es ist aber auch denkbar es zunächst einfach zu halten. Desweiteren muss der curriculare Kontext von Lernzielen soweit in OBEO repräsentiert werden, dass Lernzielkataloge einzelner Institutionen damit ausgezeichnet und hinsichtlich verschiedener Fragestellungen ausgewertet werden können (Personen, Institutionen, Lehrveranstaltungen, zeitlicher Ablauf, etc.).


6 Fazit

Mit der Ontology of Bio-Medical Educational Objectives (OBEO) können medizinische Lernziele hinsichtlich ihres didaktischen Models repräsentiert werden. OBEO formalisiert die Beziehungen zwischen Lernziel-Spezifikationen und den konkreten Aktionen, die diese realisieren, sowie den medizinischen Inhalten, die an Lernziel-Spezifikationen gebunden sind.

Mit OBEO steht ein prototypisches Werkzeug bereit, mit dessen Hilfe bestehende und entstehende Lernzielkataloge sowie Lernobjekt-Ressourcen annotiert werden können, um diese für verschiedene Nutzergruppen besser verwendbar zu machen. Durch die formal-semantische Repräsentation von OBEO werden inhalts-gesteuerte Suche und Navigation auf den damit annotierten Daten möglich.

OBEO muss vor allem hinsichtlich der Repräsentation medizinischer Inhalte in Lernzielen sowie der Einbeziehung des curricularen Kontextes von Lernzielen erweitert und verbessert werden. Doch schon jetzt können mit Hilfe von OBEO bestimmte Fragen an Lernziel-Instanzen beantwortet werden.


Anmerkung

Interessenkonflikte

Die Autoren erklären, dass sie keine Interessenkonflikte in Zusammenhang mit diesem Artikel haben.


Literatur

1.
Gronlund N. Gronlund's writing instructional objectives. 8. Aufl. Upper Saddle River, N.J.: Pearson/Merrill Prentice Hall; 2009.
2.
Bloom BS, Engelhart MD, Furst EJ, Hill WH, Krathwohl DR. Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook 1 Cognitive Domain. New York: David McKay Company, Inc.; 1956.
3.
Bürgi H, Rindlisbachers B, Bader C, Bloch R, Bosman F, Gasser C, Gerke W, Humair JP, Im Hof V, Kaiser H, Lefebvre D, Schläppi P, Sottas B, Spinas GA, Stuck AE. Swiss Catalogue of Learning Objectives for Undergraduate Medical Training - June 2008. Working Group under a Mandate of the Joint Commission of the Swiss Medical Schools. Bern: University of Bern; 2008. Available from: http://sclo.smifk.ch/downloads/sclo_2008.pdf Externer Link
4.
Association of American Medical Colleges. AAMC: MSOP: Medical School Objectives Project. Washington: Association of American Medical Colleges; 2010 [zitiert 2010 Aug 11]. Available from: http://www.aamc.org/meded/msop/ Externer Link
5.
The Scottish Doctor. Edinburgh: Scottish Deans' Medical Curriculum Group; 2010 [zitiert 2010 Aug 11]. Available from: http://www.scottishdoctor.org/ Externer Link
6.
Royal College of Physicians and Surgeons of Canada. CanMEDS. Ottawa: RCPS; 2009 [zitiert 2010 Aug 11]. Available from: http://rcpsc.medical.org/canmeds/index.php Externer Link
7.
The Medical Council of Canada. MCC: Objectives for the Qualifying Examination. Ottawa: MCC; 2010 [zitiert 2010 Aug 11]. Available from: http://www.mcc.ca/objectives_online/objectives.pl?lang=english&loc=home Externer Link
8.
Hahn E, Fischer M. Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM) für Deutschland: Zusammenarbeit der Gesellschaft für Medizinische Ausbildung (GMA) und des Medizinischen Fakultätentages (MFT). GMS Z Med Ausbild. 2009;26(3):Doc35. DOI: 10.3205/zma000627 Externer Link
9.
Kern D. Curriculum development for medical education : a six step approach. Baltimore: Johns Hopkins University Press; 1998.
10.
Möller C. Die curriculare Didaktik. In: Gudjons H, Winkel R, Klafki W, eds. Didaktische Theorien. Hamburg: Bergmann + Helbig; 2006. pp. 75-92.
11.
Mager R. Preparing instructional objectives. Palo Alto Calif.: Fearon Publishers; 1962.
12.
Kassebaum DG, Eaglen RH, Cutler ER. The objectives of medical education: reflections in the accreditation looking glass. Acad Med. 1997;72(7):648-56.
13.
Krathwohl DR, Bloom BS, Masia BB. Taxonomy of Educational Objectives: The Classification of Educational Goals. Handbook II Affective Domain. New York: David McKay Company, Inc.; 1964.
14.
Simpson EJ. The classification of educational objectives, psychomotor domain. Illinois Teacher of Home Economics. 1966;10(4):110-44.
15.
Harrow AJ. A Taxonomy of the Psychomotor Domain: A Guide for Developing Behavioural Objectives. New York: David McKay Company, Inc.; 1972.
16.
de Corte E. Zum Stand der empirischen Überprüfung der kognitiven Taxonomie von Bloom: Methoden u Ergebnisse. In: Klauer K, Kornardt H, eds. Jahrbuch für empirische Erziehungswissenschaften. Düsseldorf: Schwann-Bagel; 1980. pp. 43-65.
17.
Kreitzer AE, Madaus GF. Empirical Investigation of the Hierarchical Structure of the Taxonomy. In: Anderson LW, Sosniak LA, eds. Bloom's Taxonomy. A Fourty-year Retrospective. Chicago, Illinois: University of Chicago Press; 1994. pp. 64-81.
18.
Furst EJ. Bloom's Taxonomy: Philosophical anbd Educational Issues. In: Anderson LW, Sosniak LA, eds. Bloom's Taxonomy. A Fourty-year Retrospective. Chicago, Illinois: University of Chicago Press; 1994. pp. 28-40.
19.
Anderson L, Krathwoh DR, Airasian PW, Cruikshank KA, Mayer RE, Pintrich PR, et al., eds. A Taxonomy for Learning, Teaching, and Assessing : a Revision of Bloom's Taxonomy of Educational Objectives. Complete ed. New York: Longman; 2001.
20.
Rehak DR, Mason R. Keeping the learning in learning objects. In: Littlejohn A, eds. Reusing online resources. London, Sterling VA: Kogan Page; 2003. pp. 22-30.
21.
Allert H, Dhraief H, Nejdl W. How are Learning Objects Used in Learning Processes? Instructional Roles of Learning Objects in LOM. In: Barker P, ed. Proceedings of ED-MEDIA 2002, World Conference on Educational Multimedia, Hypermedia and Telecommunications. Norfolk, Va.: AACE; 2002. pp. 40-41.
22.
Allert H, Qu C, Nejdl W. Theoretischer Ansatz zur Rolle der Didaktik in Metadaten Standards. In: Bildung PNMID, ed. Reader zum Workshop Standardisierung im eLearning. Frankfurt/Main: Johann Wolgang Goethe Universität; 2002. pp. 23-27.
23.
Günzel C, Christ J. Universitäten online: Dünkel und Dilletanten. FOCUS. 2004;(34). Available from: http://mediaoffice.net/2004/12/31/universitaeten-online-duenkel-und-dilletanten/ Externer Link
24.
Krüger-Brand HE. E-Learning in der Medizin: Vor dem Durchbruch. Dtsch Ärztebl. 2002;99(22):A1491-A1493. Available from: http://www.aerzteblatt.de/v4/archiv/artikel.asp?id=31832 Externer Link
25.
Quine WV. From a logical point of view: 9 logico-philosophical essays. 2. Aufl. Cambridge, Mass.: Harvard Univ. Press; 1980.
26.
Sowa JF. Ontology, Metadata, and Semiotics. In: Ganter B, ed. Conceptual structures. Berlin: Springer; 2000. pp. 55-81. Available from: http://www.jfsowa.com/ontology/ontometa.htm Externer Link
27.
Stenzhorn H, Schulz S, Boeker M, Smith B. Adapting Clinical Ontologies in Real-World Environments. J Univers Comput Sci. 2008;14(22):3767-80.
28.
Borst T. Ontologien zur semantischen Auszeichnung digitaler Lernmaterialien. Forschungsberichte des Fachbereichs Elektrotechnik & Informationstechnik der Fernuniversität Hagen. 2006;(3).
29.
Fellermayr L. Ontologien für Lernzieltaxonomien und Lernzielstrukturen aus der Informatik. Überblick, Weiterentwicklung und Ausarbeitung eines Anwendungsbeispiels. München: Technische Universität München; 2009. Available from: http://ddi.in.tum.de/uploads/media/Fellermayr_DA.pdf Externer Link
30.
Staller A. Merging domain knowledge and task analysis in an ontology. In: Méndez-Vilas A, Solano Martín A, Mesa Gonazález JA, Mesa González J, eds. Current Developments in Technology-Assisted Education. Badajoz, Spain: FORMATEX; 2006. pp. 1585-9.
31.
Smith P, Ragan TR. Instructional design. 3. Aufl. Hoboken N.J.: J. Wiley & Sons; 2005.
32.
Meder N. Didaktische Ontologien. 2001. Available from: http://cweb.uni-bielefeld.de/agbi/cgi-bin-noauth/cache/VAL_BLOB/167/167/63/did.pdf Externer Link
33.
Schmiech M. Didaktische Ontologien zur Organisation digitaler Objekte in der Arbeit von Lehrkräften [Dissertation]. Flensburg: Universität Flensburg; 2006. Available from: http://www.zhb-flensburg.de/dissert/schmiech/Schmiech%202006%20-%20Didaktische%20Ontologien%20zur%20Organisation%20digitaler%20Objekte%20in%20der%20AvL.pdf Externer Link
34.
World Wide Web Consortium. All Standards and Drafts - W3C. W3C; 2010 [zitiert 2010 Juli 28]. Available from: http://www.w3.org/TR/#tr_OWL_Web_Ontology_Language Externer Link
35.
Baader F, Calvanese D, McGuiness D, Nardi D, Patel-Schneider P, eds. The description logic handbook : theory, implementation, and applications. 2. Aufl. Cambridge, New York: Cambridge University Press; 2007.
36.
The Protégé Ontology Editor and Knowledge Acquisition System. Stanford, CA: Stanford Center for Biomedical Informatics Research; 2010 [zitiert 2010 Aug 16]. Available from: http://protege.stanford.edu/ Externer Link
37.
Masolo C, Borgo S, Gangemi A, Guarino N, Oltramari A. WonderWeb Deliverable D18. Ontology Library (final). Trento: Laboratory For Applied Ontology - ISTC-CNR; 2003. Available from: http://wonderweb.semanticweb.org/deliverables/documents/D18.pdf Externer Link
38.
Beißwanger E, Schulz S, Stenzhorn H, Hahn U. BioTop: An Upper Domain Ontology for the Life Sciences - A Description of its Current Structure, Contents, and Interfaces to OBO Ontologies. Applied Ontology. 2008;3(4):205-12.
39.
IHTSDO: International Health Terminology Standards Development Organisation. Copenhagen: IHTSDO; [zitiert 2010 Juli 28]. Available from: http://www.ihtsdo.org/ Externer Link
40.
Structural Informatics Group, University of Washington. Foundational Model of Anatomy ontology - Home. Washington: University of Washington; 2010 [zitiert 2010 Juli 28] Available from: http://sig.biostr.washington.edu/projects/fm/ Externer Link
41.
The Gene Ontology. GO Consortium; 2010 [zitiert 2010 Juli 28]. Available from: http://www.geneontology.org/ Externer Link
42.
UniProt - The Universal Protein Resource - EBI. Hinxton: European Bioinformatics Institute; 2010 [zitiert 2010 Juli 28]. Available from: http://www.ebi.ac.uk/uniprot/ Externer Link
43.
Smith B, Ashburner M, Rosse C, Bard J, Bug W, Ceusters W, Goldberg LJ, Eilbeck K, Ireland A, Mungall CJ; OBI Consortium, Leontis N, Rocca-Serra P, Ruttenberg A, Sansone SA, Scheuermann RH, Shah N, Whetzel PL, Lewis S. The OBO Foundry: coordinated evolution of ontologies to support biomedical data integration. Nat Biotechnol. 2007;25(11):1251-5. DOI: 10.1038/nbt1346 Externer Link
44.
information-artifact-ontology - Project Hosting on Google Code. 2010 [zitiert 2010 Juli 28]. Available from: http://code.google.com/p/information-artifact-ontology/ Externer Link