gms | German Medical Science

51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (gmds)

10. - 14.09.2006, Leipzig

Integration von haptischen Ein-/Ausgabegeräten zur intuitiven Interaktion mit virtuellen Körpern in OP-Planungssysteme

Meeting Abstract

  • Matthias Färber - Universitätsklinikum Hamburg-Eppendorf, Hamburg
  • Florian Drescher - Universitätsklinikum Hamburg-Eppendorf, Hamburg
  • Stefan Müller - Universität Koblenz, Koblenz
  • Heinz Handels - Universitätsklinikum Hamburg-Eppendorf, Hamburg

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (gmds). 51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Leipzig, 10.-14.09.2006. Düsseldorf, Köln: German Medical Science; 2006. Doc06gmds168

Die elektronische Version dieses Artikels ist vollständig und ist verfügbar unter: http://www.egms.de/de/meetings/gmds2006/06gmds309.shtml

Veröffentlicht: 1. September 2006

© 2006 Färber et al.
Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.


Gliederung

Text

Einleitung und Fragestellung

Die aktuellen Entwicklungen im Bereich bildgebender tomografischer Geräte (z.B. CT, MRT) und die damit einhergehenden Fortschritte in der computerbasierten Bildverarbeitung haben es in einem bisher beispiellosen Umfang ermöglicht, die Patientenanatomie zu modellieren, zu visualisieren und die so gewonnenen Informationen für die Diagnose und Therapieplanung zu nutzen. Im Bereich der computergestützten Operationsplanung wurden in den letzten Jahren Systeme entwickelt, welche den Arzt bei der Planung spezifischer medizinischer Eingriffe unterstützen (z.B. [1]). Der Eingriff wird hierbei anhand virtueller Oberflächenmodelle vorbereitet und visualisiert. Die Interaktion mit diesen Systemen erfolgt im Normalfall mit gängigen Eingabegeräten wie Maus und Tastatur, zum Teil auch mit 3D-Mäusen. Virtuelle Planungssysteme zeichnen sich durch Kosteneffizienz, Reproduzierbarkeit und Quantifizierbarkeit aus. Demgegenüber steht die erschwerte Interaktion mit dem virtuellen Modell, da die Ein- und Ausgabegeräte ein Ertasten von Oberflächen und ein intuitives Interagieren mit den virtuellen Modellen nicht ermöglichen. Im Folgenden wird ein Framework vorgestellt, welches neben den gängigen Eingabegeräten die Verwendung haptischer Ein-/Ausgabegeräte mit Kraftrückkopplung zur Exploration und Modifikation von 3D-Modellen ermöglicht, und somit die Interaktion mit virtuellen Oberflächenmodellen stark vereinfacht.

Material und Methoden

Für die haptische Ein- und Ausgabe werden Kraftrückkopplungsgeräte der Firma SensAble verwendet (Abb. 1 [Abb. 1]). Diese Geräte ermöglichen über einen stiftartigen Endeffektor die Eingabe von Positionen (drei Freiheitsgrade) und Rotationen (drei Freiheitsgrade) im dreidimensionalen Raum. Kraftrückkopplung erfolgt in den drei Freiheitsgraden der Positionierung. Als Datenbasis dienen dreidimensionale Oberflächenmodelle von anatomischen Strukturen, die aus CT- bzw. MR-Schichtbildfolgen generiert werden. Die Integration des Kraftrückkopplungsgerätes in die Planungsumgebung umfasst zum einen die Exploration der 3D-Modelle und Szenen (haptisches Rendering) und zum anderen die Interaktion mit einzelnen Strukturteilen. Die Komponente des haptischen Renderings basiert auf von Ruspini [2] und Salisbury [3] vorgeschlagenen Ansätzen zum haptischen Oberflächenrendering. Hierbei wird aufgrund der aktuellen Position des haptischen Gerätes die Eindringtiefe in ein virtuelles Objekt berechnet und daraus resultierend eine Kraft mit Hilfe des Hooke’schen Gesetzes. Diese Rückgabekraft, die jeweils in Richtung der Oberflächennormalen des aktuell berührten Polygons verläuft, wird durch das haptische Gerät an den Benutzer zurückgegeben, so dass ein tieferes Eindringen in das virtuelle Objekt verhindert wird. Dadurch wird die Berührung eines soliden Gegenstandes simuliert. Die Rückgabekräfte können für verschiedene Modelle durch Parameter für Dämpfung, Festigkeit sowie statische und dynamische Reibung verändert werden, um verschiedene Materialeigenschaften nachzubilden, so dass etwa Knochen- oder Weichteilgewebe nicht nur visuell, sondern auch haptisch unterschieden werden können.

Das haptische Ein-/Ausgabegerät wird weiterhin verwendet, um mit einzelnen 3D-Objekten oder der gesamten Virtual-Reality-Szene zur interagieren (Abb. 2 [Abb. 2]). Der Benutzer hat die Möglichkeit 3D-Objekte mit Hilfe eines virtuellen 3D-Cursors zu fassen, um sie zu drehen und zu positionieren. Zudem können interaktiv Landmarken und Linien auf die Oberflächen gezeichnet werden. Anhand von, auf diese Weise eingezeichneten Linien, können einfache Schnittoperationen durchgeführt sowie die geschnittenen Objektteile für spätere Weiterverarbeitung gespeichert werden. Weiterhin wird die Exploration der Szene durch eine über das Gerät frei wählbare Kameraposition erleichtert.

Um sowohl das haptische als auch das grafische Rendering der Daten zu ermöglichen und die Erweiterung bestehender OP-Planungssysteme zu vereinfachen, wurde das Visualization Toolkit (VTK) [4], das häufig zur grafischen Darstellung von aus Patientendaten generierten 3D-Modellen verwendet wird, dahingehend erweitert, dass sich Geräte der Firma SensAble [5] zur haptischen Exploration der virtuellen Daten verwenden lassen. Für die Integration der haptischen Ein-/Ausgabegeräte wurde auf das OpenHaptics Toolkit zurückgegriffen, welches die Algorithmen zum haptischen Rendering von OpenGL-Modellen bereithält. Um eine spätere Verwendung in VTK basierten Applikationen so einfach wie möglich zu gestalten, wird der Datenstrom, der in VTK die 3D-Modelle in Form von Dreiecksgittern definiert, zusätzlich für die Definition der haptischen Oberflächenmodelle verwendet. Auf diese Weise bleiben bestehende VTK-Datenpipelines zur Visualisierung von dreidimensionalen Oberflächenmodellen erhalten und ein unnötiges Vorhalten von zusätzlichen Datenstrukturen im Hauptspeicher wird vermieden. Die Implementierung erfolgte in C++.

Ergebnisse

Es wurde ein Prototyp erstellt mit dem die haptische Exploration und Modifikation von Virtual-Reality-Szenen exemplarisch durchgeführt werden kann. Über die Bedienknöpfe am Ein-/Ausgabegerät ist ein Wechsel zwischen den unterschiedlichen Modi (Positionierung, Zeichnen, Kameraführung) sowie deren Benutzung möglich, ohne auf andere Eingabegeräte zurückgreifen zu müssen. Eine erste Evaluation erfolgte an Oberflächenmodellen von medizinischen Strukturen unterschiedlicher Komplexität. Nach einer kurzen Lernphase mit dem ungewohnten Eingabegerät konnten die Benutzer schnell zu ersten Ergebnissen beim Schneiden und Positionieren von Teilmodellen gelangen. Als Plattform diente zum einen ein Windows System mit Dual Xeon (3GHz) Konfiguration, 2GB Ram und Nvidia Quadro FX 4400 512MB Grafikkarte und zum anderen ein Linux System mit 3,6 GHz Prozessor, 2 GB Ram und Nvidia Quadro FX 3400 256MB Grafik. Auf beiden Systemen war eine haptische Exploration der Oberflächen problemlos möglich. Lediglich bei der Bearbeitung von Dreiecksmodellen mit mehr als 2 Millionen Dreiecken kam es zu leichten Verzögerungen beim Drehen und Positionieren auf dem leistungsschwächeren Linux System. Die Software wurde mit verschiedenen Phantom Kraftrückkopplungsgeräten (Omni, Desktop, Premium) getestet. Mit allen Geräten konnte ein realistisches Gefühl bei der haptischen Exploration von virtuellen Modellen erzeugt werden. Unterschiede bestehen lediglich in der maximalen Kraftrückgabe der Geräte, in der Größe des Arbeitsbereiches und in der Positionierungsauflösung.

Diskussion

Das entwickelte Framework bietet die Möglichkeit bestehende Systeme um eine intuitive haptische Exploration von Virtual-Reality-Szenen zu erweitern. Weiterhin wird die Modifikation von dreidimensionalen Oberflächenmodellen vereinfacht. Erste Erfahrungen mit einem Prototyp zur Bearbeitung von 3D-Modellen zeigen, dass die Benutzer schnell zu ersten Ergebnissen kommen können. Weitere Entwicklungsmöglichkeiten bieten sich auf dem Gebiet der Kollisionserkennung zwischen Oberflächenmodellen. Hier kann die Rückgabe von Kräften entsprechend den vom Benutzer interaktiv positionierten 3D-Objekten den haptischen Eindruck noch verstärken.


Literatur

1.
Handels H, Ehrhardt J, Strathmann B, Plötz W, Pöppl SJ. Three Dimensional Planning and Simulation of Hip Operations and Computer-Assisted Design of Endoprotheses in Bone Tumor Surgery. J. Comput. Aided Surg. 2001; 6:65-76.
2.
Salisbury J, Brock D, Massie T, Swarup N, Zilles C. Haptic Rendering: Programming Touch Interaction with Virtual Objects. In Proceedings of the 1995 symposium on Interactive 3D graphics, 1995
3.
Ruspini DC, Kolarov K, Khatib O. The Haptic Display of Complex Graphical Environments. Comp Graph, 31:345-5, 1997
4.
Schroeder W, Martin K, Lorensen B. The Visualization Toolkit An Object-Oriented Approach To 3D Graphics, 3rd Edition. Kitware Inc, 2004
5.
Massie T, Salisbury J. The PHANTOM Haptic Interface: A Device for Probing Virtual Objects. In Proc. of the ASME Winter Annual Meeting, Symposium on Haptic Interfaces for Virtual Environment and Teleoperator System, Chicago, 1994