Artikel
Semantische und numerische Datenfusionierung für Virtual Reality Simulationen zur Ablationsplanung unter Atembewegung
Suche in Medline nach
Autoren
-
Andre Mastmeyer
- Universität zu Lübeck, Lübeck, Deutschland
-
Niclas Kath
- Universität zu Lübeck, Lübeck, Deutschland
-
Heinz Handels
- Universität zu Lübeck, Lübeck, Deutschland
| Veröffentlicht: | 27. August 2018 |
|---|
Gliederung
Text
Einleitung: Überblicksweise wird der aktuelle Stand der Forschung zu Atlas- und GPU-basierten Methoden für die realitätsnahe visuo-haptische VR-Simulation von atembewegten virtuellen Körpermodellen mit einem Fokus auf Datenfusionsaspekten vorgestellt, welche bspw. einen dosisrelevanten 4D-CT-Scan zur personalisierten Eingriffsplanung vermeiden helfen [1], [2]. Anwendungsbereiche sind das patientenindividuelle Training von visuo-haptisch simulierter Punktionsinterventionen [3], [4] und Radio-Frequenz-Ablationen unter Atembewegung [5], [6], [7] insbesondere auch zur Planung [5], [8] eines realen Eingriffs oder zu Medizin-didaktischen Zwecken.?
Methoden: Auf einen eben neu aufgenommenen statischen 3D-Bilddatensatz des Patienten sollen sowohl individuelle als auch mittlere, populationsbasierte 4D-Bewegungsmodelle [9] aus der eigenen Forschungserfahrung angewendet werden, die aus einer Analyse und Integration der Daten in einem gemeinsamen Datenformat (Atlasdatenstruktur) entstehen. Semantische Annotationen (Regionen, Marker) und Bewegungsmodelle können aus CT-Bild(-Phasen-)Daten extrahiert werden und dienen zur Voxel-bezogenen Beschreibung von Organen, Landmarken [6], [10] und Zwischengeweben [11] sowie realer Atembewegungen. Mithilfe Surrogat-basierter 4D-Bewegungsmodelle wird zudem die Variabilität der Atmung in verschiedenen Atmungszyklen realitätsnah simuliert. Nicht-lineare Registrierungsverfahren kompensieren die anatomischen Unterschiede zwischen der Atlas- und der neuen Patientenanatomie. Dabei werden anatomisch-morphologische Informationen und 4D-Organbewegungen auf die neuen statischen 3D-Patientendaten zur Animation übertragen [12], [13]. Der somit neu gebildete Patientenatlas wird innerhalb eines visuo-haptisches Rendering-Frameworks dargestellt, das die haptisch-visuell und Ultraschall-gestützt gesteuerte Interaktion der Ablationsnadel mit dem atmenden virtuellen Körper in Echtzeit darstellt [14]. Für die 4D-Visualisierung der bewegten 3D-Bilddaten in Echtzeit werden spezielle volumenbasierte 4D-Rendering-Techniken parallelisiert auf der GPU verwendet. Eine Benutzerstudie mit Likert-Skala-Fragen rundet die Evaluation qualitativ ab.?
Ergebnisse: Ziel sind Punktionen und RFA-Ablationen im zwerchfellnahen Bereich, wobei die Auswirkungen die Atembewegung auf die 4D-Nadelpfadplanung sowie die biophysikalische Simulation der RFA-Ablation Herausforderungen darstellen. In den Ergebnissen wird besonders Rücksicht auf Herausforderungen (Artefakte) bei der Verwendung mittlerer Atemmodelle eigener Forschung und eine Benutzerstudie (Fragebogen) genommen.?
Diskussion: Echtzeitanforderung und Volumendaten erfordern massiv-paralleles GPU-Rechnen. Die im Überblick präsentierten Ergebnisse sind vielversprechend, ein Benutzertrainingseffekt deutet sich an. Herausforderungen für die Zukunft sind artefaktfreie, GPU-gestützte Methoden für den möglichen klinischen Einsatz unter Zeitbeschränkungen.
Die Autoren geben an, dass kein Interessenkonflikt besteht.
Die Autoren geben an, dass kein Ethikvotum erforderlich ist.
Literatur
- 1.
- Fortmeier D, Mastmeyer A, Schröder J, Handels H. A Virtual Reality System for PTCD Simulation Using Direct Visuo-Haptic Rendering of Partially Segmented Image Data. IEEE Journal of Biomedical and Health Informatics. 2016;20(1):355-66.
- 2.
- Fortmeier D, Wilms M, Mastmeyer A, Handels H. Direct Visuo-Haptic 4D Volume Rendering Using Respiratory Motion Models. IEEE Transactions on Haptics. 2015;8(4):371-83.
- 3.
- Fortmeier D, Mastmeyer A, Handels H. Image-based Soft Tissue Deformation Algorithms for Real-time Simulation of Liver Puncture. Current Medical Imaging Reviews. 2013;9(2):154-65.
- 4.
- Fortmeier D, Mastmeyer A, Handels H. GPU-Based Visualization of Deformable Volumetric Soft-Tissue for Real-Time Simulation of Haptic Needle Insertion. In: Bildverarbeitung für die Medizin 2012. Berlin, Heidelberg: Springer; 2012. (Informatik aktuell). p. 117-22.
- 5.
- Mastmeyer A, Fortmeier D, Handels H. Evaluation of Direct Haptic 4D Volume Rendering of Partially Segmented Data for Liver Puncture Simulation. Sci Rep. 2017 04;7(1):671. DOI: 10.1038/s41598-017-00746-z
- 6.
- Mastmeyer A, Fortmeier D, Handels H. Efficient patient modeling for visuo-haptic VR simulation using a generic patient atlas. Comput Methods Programs Biomed. 2016 Aug;132:161-75. DOI: 10.1016/j.cmpb.2016.04.017
- 7.
- Fortmeier D, Mastmeyer A, Handels H. An Image-based Multiproxy Palpation Algorithm for Patient-Specific VR-Simulation. Stud Health Technol Inform. 2014;196:107-13.
- 8.
- Mastmeyer A, Hecht T, Fortmeier D, Handels H. Ray-casting based evaluation framework for haptic force feedback during percutaneous transhepatic catheter drainage punctures. Int J Comput Assist Radiol Surg. 2014 May;9(3):421-31. DOI: 10.1007/s11548-013-0959-7
- 9.
- McClelland JR, Hawkes DJ, Schaeffter T, King AP. Respiratory motion models: a review. Med Image Anal. 2013 Jan;17(1):19-42. DOI: 10.1016/j.media.2012.09.005
- 10.
- Mastmeyer A, Fortmeier D, Maghsoudi E, Simon M, Handels H. Patch-based Label Fusion using Local Confidence-measures and Weak Segmentations. In: Proc. SPIE 8669, Medical Imaging 2013: Image Processing, 86691N (13 March 2013).
- 11.
- Mastmeyer A, Fortmeier D, Handels H. Direct haptic volume rendering in lumbar puncture simulation. Stud Health Technol Inform. 2012;173:280-6.
- 12.
- Mastmeyer A, Wilms M, Handels H. Population-based Respiratory 4D Motion Atlas Construction and its Application for VR Simulations of Liver Punctures. In: Proc SPIE 10574, Medical Imaging 2018: Image Processing, 1057417 (2 March 2018). DOI: 10.1117/12.2293092
- 13.
- Mastmeyer A, Wilms M, Handels H. Interpatient Respiratory Motion Model Transfer for Virtual Reality Simulations of Liver Punctures. Journal of World Society of Computer Graphics - WSCG. 2017;25(1):1-10.
- 14.
- Mastmeyer A, Wilms M, Fortmeier D, Schröder J, Handels H. Real-Time Ultrasound Simulation for Training of US-Guided Needle Insertion in Breathing Virtual Patients. Stud Health Technol Inform. 2016;220:219-26.
