gms | German Medical Science

GMS Medizinische Informatik, Biometrie und Epidemiologie

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS)

ISSN 1860-9171

Standardkonforme systemübergreifende Nutzung virtueller Patienten durch Umsetzung des MedBiquitous Virtual Patient Standards am Beispiel von CAMPUS

Standard compliant use of virtual patients using the MedBiquitous Virtual Patient Standard in the CAMPUS system

Originalarbeit

  • corresponding author Frank Hess - Zentrum für virtuelle Patienten, Universitätsklinikum Heidelberg, Deutschland
  • author Jörn Heid - Zentrum für virtuelle Patienten, Universitätsklinikum Heidelberg, Deutschland
  • author Simone Huber - Zentrum für virtuelle Patienten, Universitätsklinikum Heidelberg, Deutschland
  • author Sören Huwendiek - Zentrum für virtuelle Patienten, Universitätsklinikum Heidelberg, Deutschland
  • author Martin Haag - Zentrum für virtuelle Patienten, Universitätsklinikum Heidelberg, Deutschland

GMS Med Inform Biom Epidemiol 2009;5(1):Doc08

DOI: 10.3205/mibe000087, URN: urn:nbn:de:0183-mibe0000878

Published: February 25, 2009

© 2009 Hess et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Zusammenfassung

Einleitung: Aufgrund der immer kürzer werdenden Liegezeiten von Patienten in den Universitätskliniken stehen immer weniger „echte“ Patienten für den Einsatz in der Lehre zur Verfügung. Virtuelle Patienten können in diesem Kontext als sinnvolle Ergänzung des Ausbildungsprogramms gesehen werden. Gleichwohl ist die Erstellung von virtuellen Patienten (VP) sehr aufwändig und deshalb kommt in letzter Zeit verstärkt der Wunsch auf, einmal erstellte virtuelle Patienten hochschulübergreifend, idealerweise auch systemübergreifend, in verschiedenen Lernumgebungen nutzen zu können. Eine Möglichkeit hierzu bietet das derzeit laufende eViP-Projekt [1].

Der Artikel versucht, die Schwierigkeiten bei der Entwicklung des beim eViP verwendeten MedBiquitous Virtual Patient Standard [2] zum Austausch virtueller Patienten, aber auch dessen Umsetzung im fallbasierten Trainingssystem CAMPUS [3], näher zu beleuchten.

Methoden: Der MedBiquitous Virtual Patient Standard soll den Austausch zwischen unterschiedlichen VP-Systemen sicherstellen. Um den Austausch von virtuellen Patienten zwischen verschiedenen Systemen zu ermöglichen, müssen in einem ersten Schritt eigene virtuelle Patienten in den MedBiquitous Virtual Patient Standard exportiert und wieder importiert werden können. In einem zweiten Schritt ist der Im- und Export von virtuellen Patienten fremder Systeme vorgesehen.

Ergebnisse: Alle beteiligten Partner beschäftigen sich derzeit noch mit dem Im- und Export eigener virtueller Patienten. Hierbei durchläuft der sich noch in der Entwicklung befindende Standard aktuell mehrere Iterationsschritte.

Diskussion: Ein Standard zum Austausch von virtuellen Patienten ist nur sinnvoll, wenn mehrere Partnersysteme einen akzeptablen Im- und Export von virtuellen Patienten in diesen Standard anbieten. Aufgrund der didaktisch unterschiedlichen Ansätze und Konzepte der einzelnen Systeme wird ein Austauch von virtuellen Patienten jedoch nur mit Informationsverlusten möglich sein.

Schlüsselwörter: eViP, MedBiquitous Virtual Patient Standard, CAMPUS, virtuelle Patienten, Medizin, Ausbildung, Computer-based Training

Abstract

Introduction: Due to the increasingly shorter turnaround times for patients in university hospitals, fewer "real" patients are available for use in teaching. In this context, virtual patients can be seen as a useful addition to medical education. Unfortunately, the creation of virtual patients (VPs) is very expensive. This cost aspect necessitates the reuse of once created virtual patients in different virtual patient systems. The ongoing eViP project pursues this need as one of its major goals [1]. This article highlights the challenges of the development of a so-called MedBiquitous Virtual Patient Standard [2] and its implementation in the case-based training system CAMPUS [3].

Methods: The MedBiquitous Virtual Patient Standard has been developed to enable the exchange of virtual patients between different virtual patient systems. For CAMPUS the import of standard conform virtual patients and the export of proprietary CAMPUS-related virtual patients must be implemented. Moreover, a working interchange requires a corresponding import and export facility for virtual patient systems other than CAMPUS.

Results: All partners who want to support the MedBiquitous Virtual Patient Standard are currently working on the import and export of their proprietary virtual patients. The MedBiquitous Virtual Patient Standard is still under development and will have to pass additional evaluation steps before finalization.

Discussion: A standard for the exchange of virtual patients is only useful if all participating systems can offer a reliable and conforming import and export facility for virtual patients. However, due to the different educational concepts and approaches of the various systems, the exchange of virtual patients can only be realized with loss of information.

Keywords: eViP, MedBiquitous Virtual Patient Standard, CAMPUS, virtual patients, medical education, computer-assisted instruction


Einleitung und Fragestellung

Die Lehre in der Medizin steht derzeit vor der großen Herausforderung, dass die Gelegenheiten, einen intensiven Student-Patient-Kontakt herzustellen, immer weniger werden. Hierzu können mehrere Gründe angeführt werden. Einerseits wird der wirtschaftliche Druck auf die Krankenhäuser durch unterschiedliche Faktoren (z.B. die Einführung der DRGs) immer größer. Dies hat zur Folge, dass sich die durchschnittliche Liegezeit eines Patienten der unteren Grenzverweildauer annähert. Damit sinkt auch die Verfügbarkeit von geeigneten Patienten für die Lehre. Durch den Kostendruck findet zudem eine zunehmende Spezialisierung der einzelnen Kliniken statt und es kann nicht sichergestellt werden, dass zu den im Curriculum vorgesehenen Krankheitsbildern auch Patienten mit "beispielhaften Erkrankungen" aktuell im Klinikum vorhanden sind. Andererseits wird durch die hohe Anzahl an Medizin-Studierenden das Lehrpersonal sehr stark beansprucht. Um dennoch sowohl eine fundierte Grundlagen- als auch Fachausbildung gewährleisten zu können, bietet sich der Einsatz von virtuellen Patienten (VP) an. Virtuelle Patienten sind multimedial aufbereitete, interaktive Simulationen realer klinischer Fälle zum Zweck der medizinischen Ausbildung oder Prüfung. Virtuelle Patienten können zu jeder Zeit an jedem Ort beliebig intensiv in der Lehre genutzt werden. Dadurch können „echte“ Patienten, deren Schwere der Krankheit einen intensiven Einsatz in der Lehre nicht zulässt, entlastet werden.

Jedoch ist die Erstellung von virtuellen Patienten zeitaufwändig und somit teuer. Einem Klinikum ist es folglich nicht möglich, zu jedem im Curriculum vorgesehenen Krankheitsbild einen passenden virtuellen Patienten zu erstellen. Die Kooperation und der Austausch virtueller Patienten über Hochschulgrenzen hinweg sind aus diesem Grund nahe liegend [4]. Die gemeinsame Nutzung virtueller Patienten kann auf drei unterschiedlichen Stufen erfolgen: Verwendung einer zentralen Falldatenbank, Integration in das jeweilige universitäre Lehr-und Lernmanagementsystem (LMS), systemübergreifende Im- und Exportfunktionalität für die Weiterbearbeitung/Anpassung virtueller Patienten.

Den Ansatz, virtuelle Patienten in einer Falldatenbank zur gemeinsamen Nutzung zur Verfügung zu stellen, wurde bereits vom CASEPORT-Projekt [5] auf nationaler Ebene verfolgt. Die virtuellen Patienten wurden hierzu mit einem gemeinsamen Metadatensatz beschrieben und können über ein zentrales Portal gesucht und mit der Abspielkomponente des jeweiligen Systems wiedergegeben werden. Eine nahtlose Integration der virtuellen Patienten in Lernmanagementsysteme oder eine Bewertung der Fallbearbeitung ist mit diesem Ansatz jedoch nicht möglich. Um virtuelle Patienten in ein LMS zu integrieren stehen unterschiedliche Ansätze zur Verfügung. Proprietäre Formate erzwingen eine erhebliche Abhängigkeit zum jeweiligen LMS-Hersteller und einen erheblichen Implementierungsaufwand für den Im- und Export von virtuellen Patienten. Standardisierte Ansätze, wie der häufig zitierte SCORM-Standard (Sharable Content Object Reference Model) [6] bieten die Möglichkeit virtuelle Patienten in SCORM-kompatible LMS zu integrieren und den Lernfortschritt der Benutzer zu protokollieren. Eine Anpassung der virtuellen Patienten an das Corporate Identity (CI) der jeweiligen Einrichtung oder das Modifizieren ist jedoch nur sehr eingeschränkt möglich. Ist dies erwünscht so ist eine systemübergreifende Im- und Exportfunktionalität von virtuellen Patienten erforderlich.

Ansätze wie z.B. das aktuell nicht mehr weiter entwickelte Austauschformat MedicCaseML [7] wurden aufgrund der unterschiedlichen Konzepte der an der Entwicklung beteiligten Systeme jedoch nie vollständig akzeptiert. Aufgrund der unterschiedlichen Datenstrukturen/Fallablaufmodelle der einzelnen Systeme konnte zwar eine Exportfunktionalität, jedoch keine automatische Importfunktionalität von virtuellen Patienten verwirklicht werden. Sollen virtuelle Patienten jedoch auf internationaler Ebene ausgetauscht werden, so müssen Faktoren auf kultureller und sprachlicher Ebene berücksichtigt werden. Dies ist jedoch nur realisierbar, wenn virtuelle Patienten systemübergreifend in ein standardisiertes Austauschformat überführt werden können.

Die Entwicklung hin zu einem Austausch von virtuellen Patienten über Systemgrenzen hinweg spiegelt sich auch in dem Fokus der Fördermaßnahmen wieder. Wurden bei bisherigen Fördermaßnahmen, beispielsweise beim Förderprogramm „Neue Medien in der Bildung“ zwischen 2001 und 2003 hauptsächlich die Erstellung von Lehr- und Lernsystemen gefördert, so stehen bei aktuellen Fördermaßnahmen andere Aspekte wie die curriculare Integration und vernetzte Nutzung von Inhalten im Vordergrund. In dem von der EU geförderten "eViP, electronic Virtual Patients"-Projekt (Laufzeit 2007–2010) [1] soll deshalb ein Beitrag zur besseren curricularen Integration von virtuellen Patienten in der Lehre geleistet, sowie der gemeinsame Fallaustausch vorangetrieben werden. Im Folgenden soll der aktuelle Stand des eViP-Projektes und des damit verbundenen MedBiquitous Virtual Patient Standards [2] näher erläutert werden. Dabei soll insbesondere auch beschrieben werden, mit welchen technischen Voraussetzungen der geschilderten Problematik entgegengetreten werden soll.


Überblick über das eViP-Projekt

Im Jahre 2005 wurde eine Arbeitsgruppe zur Entwicklung und gemeinsamen Nutzung von virtuellen Patienten gegründet. In Zusammenarbeit mit MedBiquitous [8], einem der führenden Entwickler von Standards im Gesundheitswesen, wurde die Arbeit an einem Standard zum Austausch von virtuellen Patienten auf europäischer Ebene begonnen [9]. Beteiligt sind Partner mit Expertise in unterschiedlichen Bereichen: St George’s, University of London (England), Karolinska Institute (Schweden), LMU München (Deutschland), University of Warwick (England), Maastricht University (Niederlande), Universität Heidelberg (Deutschland), University Iuliu Hatieganu Cluj-Napoca (Rumänien) und Jagiellonian University (Polen). Diese Projektpartner stellen auch vier etablierte Lehr- und Lernsysteme für das Projekt zur Verfügung: CAMPUS [3], CASUS [10], OpenLabyrinth [11] und Web-SP [12]. Jedes dieser Systeme verfolgt einen unterschiedlichen Ansatz bei der Erstellung und Darstellung von virtuellen Patienten. Tabelle 1 [Tab. 1] gibt einen kurzen Überblick über die Unterschiede bei der Erstellung und Darstellung von VPs.

Die beteiligten Systeme bieten ein ideales Testfeld für den sich noch in der Entwicklung befindlichen MedBiquitous Virtual Patient Standard. Die dahinter stehenden Arbeitsgruppen beteiligen sich aktiv an dessen Weiterentwicklung. Die Ergebnisse bei der Umsetzung des Standards und zusätzliche Anforderungen fließen damit direkt in den Standard zurück.


Überblick über den MedBiquitous Virtual Patient Standard

Um virtuelle Patienten aller beteiligten und zukünftigen Systeme möglichst gut abbilden zu können, gliedert sich der MedBiquitous Virtual Patient Standard in zwei Teile: Zum einen die Spezifikation der Komponenten zur Charakterisierung eines virtuellen Patienten und zum anderen die Anforderungen an einen Player (siehe Abbildung 1 [Abb. 1]).

Die Komponenten zur Charakterisierung eines virtuellen Patienten unterteilen sich wiederum in folgende Bereiche:

  • Virtual Patient Data (VPD): Beinhaltet die reinen Daten zum Patienten
  • Media Resources (MR): Beinhaltet die Medien zum Patienten
  • Data Availability Model (DAM): Definiert die Aggregation von VPDs und MRs
  • Activity Model (AM): Definiert den Weg durch die Interaktion mit dem Lernenden

Die Playerspezifikation baut im Wesentlichen auf dem SCORM-Standard auf und beschreibt das Zusammenspiel mit einem LMS. Alle eViP-Pakete müssen einen Player beinhalten, um zumindest gewährleisten zu können, dass ein erhaltenes eViP-Paket wiedergegeben werden kann.

Die erstellten Fälle sollen den Partnern in einer Datenbank zur Verfügung gestellt werden. Anhand von auf Healthcare LOM (Learning Object Metadata) [13] basierenden und eViP spezifischen Metadaten kann nach virtuellen Patienten gesucht werden. Ungelöst ist derzeit das Problem der Nutzungsabrechnung und der Regelung des Zugriffes von Benutzern auf die einzelnen Systeme.


Aktueller Entwicklungsstand bei CAMPUS

Die Entwicklung für alle Systeme soll in zwei Iterationsschritten erfolgen. Im ersten Schritt sollen eigene virtuelle Patienten in den MedBiquitous Virtual Patient Standard exportiert und wieder importiert werden können. Im zweiten Schritt soll der Im- und Export auch mit virtuellen Patienten von Fremdsystemen möglich sein. Die beiden Iterationsschritte können nicht vollständig getrennt voneinander betrachtet werden, sondern besitzen aufgrund der Mitgestaltung des Standards einen fließenden Übergang.

Erweiterungen für die einzelnen Systeme können in den sog. „Extensible Informations“ ausgelagert werden, um einen kompletten Ex- und Import innerhalb eines Systems zu ermöglichen. Im Falle von CAMPUS sind dies bspw. die benötigten ICD-10 Informationen zur Verschlüsselung von Diagnosen. Die Vorgabe von „Best Practices“ seitens MedBiquitous, wie z.B. der Rückgriff auf IMS QTI (Question & Test Interoperability) [14] für die Repräsentation von Wissensfragen, soll hier den Austausch von Inhalten garantieren.

Während der Export von virtuellen Patienten noch vergleichsweise einfach zu bewerkstelligen ist, gestaltet sich der Import von virtuellen Patienten aus Fremdsystemen aufgrund der in Tabelle 1 [Tab. 1] aufgeführten Unterschiede hinsichtlich des zugrunde liegenden Fallmodells und der Wissensrepräsentation als wesentlich komplexer.

Der Import von Medien lässt sich aus technischer Sicht bei CAMPUS ohne größeren Aufwand realisieren. Da hier intern für Videos auf das Flash Video Format (FLV) gesetzt wird, werden alle Videos automatisch konvertiert und können so leicht abgespielt werden. Genauso werden Audio-Dateien in das MP3-Format umgewandelt, während die verschiedenen Bildformate direkt übernommen werden können. Als wesentlich problematischer anzusehen sind hier juristische Aspekte des geistigen Eigentums oder des Rechts von Patienten an ihrem eigenen Bild. Aktuell werden zu diesem Thema mehrere Alternativen zur Behandlung des geistigen Eigentums von bereits vorhandenen und neu zu erstellenden virtuellen Patienten innerhalb des eViP-Projekts diskutiert.

Um die freitextbasierten „Virtual-Patient-Daten“ auf die vokabularbasierte Wissensrepräsentation von CAMPUS abbilden zu können, muss größtenteils ein manueller Abgleich vollzogen werden. Bei der Umwandlung von Anamnesefragen auf eine mögliche Entsprechung in CAMPUS wird die Problematik deutlich. Zunächst muss eine passende Frage aus dem CAMPUS-Anamnesefragenkatalog gefunden werden. Hierbei kann es vorkommen, dass die ursprüngliche Frage auf mehrere, spezialisiertere Fragen aufgeteilt werden muss. Selbst bei einer guten Entsprechung bedingen leichte sprachliche Abweichungen in der Frageformulierung ggf. eine Änderung des Antworttextes.

Da alle Systeme im eViP-Projekt Wissensfragen anzeigen können, wird im Moment an einer Integration einer QTI-Repräsentation gearbeitet. Dieses soll in den Erweiterungsblock integriert werden, so dass auch Systeme ohne QTI-Unterstützung den Fall mit verringerter Ausführlichkeit darstellen können. Der QTI-Standard an sich muss jedoch für die Systeme zusätzlich um Fragetypen erweitert werden, die QTI von Haus aus nicht unterstützen. So unterstützt QTI in der aktuellen Version z.B. keine Long-Menu-Fragen.

Das Activity Model bietet durch die Verwendung des Triggerkonzeptes einen extrem hohen Freiheitsgrad. Hierbei werden bestimmte Inhalte erst durch Interaktion mit dem Anwender oder wiederkehrende Anzeige dargestellt. Die unterschiedlichen Fallmodelle der beteiligten Systeme machen es für das CAMPUS System meist unmöglich, das gerichtete, baumartige Activity Model eines anderen Systems ohne Verluste abzubilden. Hier kann lediglich auf entsprechende Hilfskonstrukte zurückgegriffen werden. Beispielsweise kann versucht werden, ein nichtlineares Fallmodell per Algorithmus in das lineare Fallmodell für CAMPUS zu wandeln, wobei natürlich Inhalte herausgefiltert werden. Ob sich dieser Aufwand lohnt, wird sich jedoch erst in einigen Monaten zeigen, wenn der MedBiquitous-konforme Im- und Export in mehreren Systemen implementiert wurde und Erfahrungen mit dem Austausch einer größeren Zahl virtueller Patienten gesammelt werden können.

Zusammenfassend gibt Abbildung 2 [Abb. 2] einen Überblick über die Komplexität der Realisierung.

Um den Erfolg der Bemühungen um den Austausch von virtuellen Patienten besser beurteilen zu können, wurden innerhalb des eViP-Projekts Kompatibilitätslevel spezifiziert (siehe Tabelle 2 [Tab. 2]). Projektziel ist die Erreichung eines möglichst hohen Kompatibilitätslevels.

Um den Kompatibilitätslevel leicht bestimmen zu können, wird von allen Partnern gemeinsam eine „Kompatibilitäts-Suite“ [15] entwickelt.

Da für CAMPUS ein möglichst hoher Kompatibilitätslevel erreicht werden soll, ist im Rahmen der zweiten Iterationsstufe die Entwicklung eines neuen CAMPUS-Players geplant, der für die kartenbasierte Darstellung von virtuellen Patienten optimiert ist.

Der neue Player besteht aus einem minimalistischen HTML-Client, der seine Karten von der Serverkomponente bei Bedarf nachlädt. Der Server hält sowohl das Fall- als auch das Ablaufmodell zur Maximierung der Flexibilität für jede Benutzung vor. Die entsprechend angeforderten Daten werden durch individuell adaptierbare Vorlagen in XHTML umgewandelt und zusammen mit Steuerinformationen an den Client geschickt. Dieser Vorgang erlaubt die Optimierung der Darstellung eines eViP-Pakets im Player abhängig vom jeweiligen Quellsystem.


Diskussion und Fazit

Laut Projektplan sollten Anfang Oktober 2008 die ersten virtuellen Patienten zwischen den Systemen ausgetauscht werden. Erst zu diesem Zeitpunkt wird es sich zeigen, wie praktikabel, mit welchem Nutzen und mit welchem manuellen Aufwand tatsächlich virtuelle Patienten zwischen den Systemen getauscht werden können. Bis zu diesem Zeitpunkt werden die Erfahrungen aus der Entwicklung sicherlich dazu beitragen, Verbesserungen in den Standard einfließen zu lassen, so dass dieser beim ANSI-Konsortium [16] eingereicht werden kann. Eine Erkenntnis des laufenden Projektes ist allerdings schon deutlich sichtbar: Die technischen Herausforderungen beim Austausch von virtuellen Patienten zwischen verschiedenen Systemen sind beträchtlich. Zusätzliche Probleme entstehen dabei, wenn virtuelle Patienten genutzt werden sollen, die in einer anderen Sprache vorliegen. Systeme wie CAMPUS sind aufgrund ihres Ansatzes mit kontrollierten Vokabularen in der Lage, die Daten größtenteils vollautomatisch in einer anderen Sprache zur Verfügung zu stellen, stehen aber dafür beim Fallaustausch mit freitextbasierten Systemen vor großen Herausforderungen.


Anmerkung

Interessenkonflikte

Keine angegeben.


Literatur

1.
Virtualpatients.eu [homepage on the Internet]. London: eViP Electronic Virtual Patients; [cited 2008 Jul 26]. Available from: http://www.virtualpatients.eu External link
2.
MedBiquitous [homepage on the Internet]. Baltimore: The MedBiquitous Consortium; c2001-2008 [updated 2008 Jun 13; cited 2008 Jul 26]. Virtual Patient Specifications and Description Document,Version: 0.48. Available from: http://www.medbiq.org/working_groups/virtual_patient/ External link
3.
Medicase.de [homepage on the Internet]. Heidelberg: Universitätsklinikum Heidelberg, Zentrum für virtuelle Patienten; c2007 [cited 2008 Jul 26]. CAMPUS Lehr- und Lernsystem. Available from: http://www.medicase.de External link
4.
Ellaway R, Poulton T, Fors U, McGee JB, Albright S. Building a virtual patient commons. Med Teach. 2008;30(2):170-4. DOI: 10.1080/01421590701874074 External link
5.
Caseport.de [homepage on the Internet]. CASEPORT; [cited 2008 Sep 15]. Available from: http://www.caseport.de External link
6.
AdlNet.gov [homepage on the Internet]. Alexandria: Advanced Distributed Learning; c2007 [cited 2008 Jul 26]. Available from: http://www.adlnet.gov External link
7.
MedicML.de [homepage on the Internet]. Regensburg: MedicML; [cited 2008 Jul 26]. XML-Struktur für medizinische Fachinformationen. Available from: http://www.medicml.de External link
8.
MedBiquitous.org [homepage on the Internet]. Baltimore: The MedBiquitous Consortium; c2001-2008 [cited 2008 Jul 26]. Available from: http://www.medbiq.org External link
9.
Triola MM, Campion N, McGee JB, Albright S, Greene P, Smothers V, Ellaway R. An XML standard for virtual patients: exchanging case-based simulations in medical education. AMIA Annu Symp Proc. 2007:741-5.
10.
CASUS.eu [homepage on the Internet]. Munich: CASUS; c2008 [cited 2008 Jul 26]. Available from http://casus.eu/ External link
11.
Labyrinth.mvm.ed.ac.uk [homepage on the Internet]. Edinburgh: Labyrinth [cited 2008 Jul 26]. Available from: http://labyrinth.mvm.ed.ac.uk External link
12.
WebSP.lime.ki.se [homepage on the Internet]. Stockholm: Karolinska Institutet; c2002-2007 [updated 2008 Jan 16; cited 2008 Jul 26]. Web-Based Simulation of Patients. Available from: http://websp.lime.ki.se External link
13.
MedBiquitous.org [homepage on the Internet]. Baltimore: The MedBiquitous Consortium; Healthcare c2008 [cited 2008 Jul 26]. ANSI/MEDBIQ LO.10.1-2008 Healthcare Learning Object Metadata Specifications and Description Document. Available from: http://www.medbiq.org/working_groups/learning_objects/HealthcareLOMSpecification.pdf External link
14.
IMS Global Learning Consortium [homepage on the Internet]. Lake Mary: IMS; c2001-2008 [updated 2008 Jul 22; cited 2008 Jul 26]. Question & Test Interoperability Specification. Available from: http://www.imsglobal.org/question/ External link
15.
MVP Conformance Suite [homepage on the Internet]. Stockholm: Sourceforge; c1999-2008 [cited 2008 Jul 26]. Available from: http://sourceforge.net/projects/mvpconformance/ External link
16.
American National Standards Institute. ANSI Standards Action 2007;38(26). [Updated 2007 Jun 29; cited 2008 Jul 26]. Available from http://publicaa.ansi.org/sites/apdl/Documents/Standards%20Action/2007%20PDFs/SAV3826.pdf External link