gms | German Medical Science

51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (gmds)

10. - 14.09.2006, Leipzig

Geometrische Kalibrierung von Faser-Endoskopen

Meeting Abstract

Search Medline for

  • Stephan Rupp - Fraunhofer-Institut für Integrierte Schaltungen IIS, Erlangen
  • Christian Winter - Lehrstuhl für Informations- und Kommunikationstechnik, Friedrich-Alexander Universität Erlangen-Nürnberg, Erlangen
  • Matthias Elter - Fraunhofer-Institut für Integrierte Schaltungen IIS, Erlangen

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (gmds). 51. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Leipzig, 10.-14.09.2006. Düsseldorf, Köln: German Medical Science; 2006. Doc06gmds276

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/meetings/gmds2006/06gmds336.shtml

Published: September 1, 2006

© 2006 Rupp et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Einleitung

Moderne Verfahren der medizinischen Diagnostik und Therapie machen intensiven Gebrauch von flexiblen Endoskopen. Neben den vielfach eingesetzten Videoskopen, bei denen die Bildgewinnung mittels eines am distalen Ende verbauten CCD-Chips und die Bildübertragung über elektrische Leiter erfolgt, sind überdies Faser-Endoskope weit verbreitet. Die Bildübertragung bei diesem Typ erfolgt durch die typischerweise 3000 bis 50000 im Bildleiter untergebrachten Quarz- oder Glasfasern, die neben der im Vergleich zu handelsüblichen Kameras stark reduzierten Auflösung auch ursächlich für die typische Wabenstruktur sind. Methoden der 3d Bildverarbeitungen erlauben es die in den endoskopischen Aufnahmen verloren gegangenen Tiefeninformationen zu rekonstruieren. Die meisten dieser Verfahren erfordern hierfür eine Kalibrierung des Aufnahmesystems. Hierzu werden üblicherweise mehrere Aufnahmen eines speziellen Kalibrierkörpers benötigt, aus denen mit hoher Genauigkeit die Pixelkoordinaten der darauf abgebildeten Kalibriermarken extrahiert werden. Dieses wird jedoch durch die den Bildern überlagerte Wabenstruktur des flexiblen Bildleiters verhindert, so dass ein Vorverarbeitungsschritt zu deren Entfernung notwendig ist.

Stand der Technik

Die Kalibrierung von Sensoren und optischen Abbildungssystemen wird umfassend in der Literatur diskutiert und entsprechend sind eine Vielzahl von Publikationen zur Kalibrierung von Kamera(systemen) mit fester [1], [2], [3], variabler Brennweite [4] und mit sehr kurzen Brennweiten [3] - wie sie für starre Endoskope typisch sind - verfügbar. Überraschenderweise sind jedoch in der Literatur weder Veröffentlichung zur Kalibrierung flexibler, faser-optischer Abbildungssystem noch Untersuchungen bekannt, die den Einfluss von Algorithmen zur Entfernung ihrer typischen Wabenstruktur auf eine Kalibrierung zum Gegenstand haben.

Eigener Beitrag

In diesem Beitrag untersuchen wir den Einfluss derartiger Algorithmen auf die Endoskop-Kalibrierung aus faser-optischen Aufnahmen. Hierzu stellen wir neben der Modellierung des faser-optischen Übertragungskanal, mit deren Hilfe die Güte der faser-optischer Kalibrierung bemessen werden kann, auch kurz zwei Verfahren zur Wabenentfernung vor.

Methoden

Die Notwendigkeit der Modellierung des faser-optischen Übertragungskanals erwächst aus der Tatsache, dass bei Betrachtung einer Szene durch ein Faser-Endoskop lediglich Zugriff auf das unterabgetastete Bild an dessen proximalen Ende besteht und keine Möglichkeit gegeben ist, dieses auf das unbeeinflusste Bild vor dem Bildleiter zu beziehen. Das Modell erlaubt es, künstliche faser-optische Bilder aus beliebigem Bildmaterial zu erstellen und so den Bezug auf das ungestörte Ausgangsbild herzustellen. Die Synthetisierung erfolgt in mehreren Schritten, ausgehend von einer faser-optischen Aufnahme einer homogenen, weißen Fläche:

  • Aus diesem so genannten Weißbild werden die Faserzentren und -intensitätsverteilungen sowie die globale Helligkeitsverteilung ermittelt. Hierzu werden durch adaptive Filterung und morphologische Operatoren pixelgenaue Hypothesen für die Positionen der Fasermittelpunkte p i bestimmt und anschließend durch Fitten asymmetrischer Gaußglocken verfeinert. Eine asymmetrische, zweidimensionale Gaußfunktion ƒ(x,y; v) ist definiert durch den Parametervektor v(µ x , µ y , σ x , σ y ,α), der die Mittelwerte µ x und µ y , Standardabweichungen σ x und σ y sowie die Amplitude α enthält:

Equation 1

Das Anpassen der Gaußfunktion erfolgt hierbei durch Minimierung des Residuums ε( p i ) in der durch den Faserdurchmesser bestimmten Nachbarschaft N( p i ):

Equation 2

Zum Lösen des nicht-linearen Ausgleichsproblems verwenden wir das Levenberg-Marquardt Verfahren und wählen als Startwert das zuvor pixelgenau bestimmte Faserzentrum p i und erhalten nach der Minimierung in v C die Parameter der gefitteten Gaußfunktion ƒC.

  • Aus den aus der Optimierung hervorgegangenen subpixel-genauen Zentren wird ein Voronoi-Netz berechnet, das die Fasermäntel und damit die Wabenstruktur annähert. Dieses Netz stellt die Grundlage für die Synthetisierung faser-optischer Bilder S (x,y) aus ungestörten Ausgangsbildern I (x,y) dar.
  • Da eine einzelne Faser nur jeweils eine Intensität I(C) überträgt, werden die Pixelintensitäten I(x,y) einer Voronoi-Zelle C aufsummiert und auf die maximale Intensität I cap (C) der Zelle bezogen:

Equation 3a mit Equation 3b

  • Entsprechend der Fernfeldverteilung einer realen Indexfaser [5] wird die so ermittelte Faser-Intensität I(C) mit der aus dem Weißbild für diese Zelle ermittelten Gaußverteilung ƒC(x,y;v C) gewichtet.

Eine Wiederholung der letzten beiden Schritte für alle Zellen des Netzes liefert eine faser-optische Ansicht S (x,y) des ursprünglichen Ausgangsbildes I (x,y). Die in Endoskopen mitgeführte Lichtquelle führt i.d.R. zu einer ungleichmäßigen Ausleuchtung [6], mit deren ebenfalls aus dem Weißbild berechneten, globalen Helligkeitsverteilung das synthetische Bild S (x,y) gewichtet wird. Abschließend wird der durch Linsenfehler oder Defokussierung hervorgerufenen Bildunschärfe durch Filterung mit einer radial-symmetrischen Unschärfemaske entsprochen.

Zur Entfernung der Wabenstruktur wird ein adaptiver, im Frequenzbereich arbeitender Ansatz genutzt [7]. Dieser leitet aus dem Spektrum des entsprechenden Bildes Filtermasken ab, die die für die Wabenstruktur verantwortlichen Frequenzen unterdrücken. Abbildung 1 [Abb. 1] zeigt neben realen und synthetischen faser-optischen Bildern auch gefilterte Bilder nach Rücktransformation in den Ortsbereich. Des weiteren vergleichen wir die Ergebnisse mit einem im Ortsbereich, auf Interpolation basierenden Verfahren. Hierbei werden für einen zu interpolierenden Zwischenwert aus dessen drei benachbarten Faserzentren die Intensitäten bestimmt und mit homogenen baryzentrischen Koordinaten gewichtet.

Experimente und Ergebnisse

Zur Evaluierung des Einflusses dieser Algorithmen sowie der Güte einer Kalibrierung, synthetisieren wir faser-optische Ansichten aus linsen-optischen Endoskopaufnahmen. Die optischen Eigenschaften des verwendeten starren Endoskops (Durchmesser, Öffnungswinkel, Abbildungsmaßstab) sind hierbei so gewählt, dass sie mit denen des für das Weißbild verwendeten flexiblen Endoskops kompatibel sind. Zur Kalibrierung selbst verwenden wir den Algorithmus von Zhang [2] und als Gütemaß den Rückprojektionsfehler.

Für die Kalibrierung eines Faserendoskops werden jeweils zehn Aufnahmen herangezogen und sowohl die Rückprojektionsfehler für die linsen-optischen (ungestörten) Aufnahmen, als auch für die synthetisierten, aufbereiteten Bilder ermittelt. Tabelle 1 [Tab. 1] zeigt die Fehler für ein exemplarisches flexibles, 4mm-Endoskop der Fa. Schölly Fiberoptic GmbH mit einem Öffnungswinkel von 70° und einem mittleren Faserabstand von zirka 5 Pixel.

Diskussion

Die vorgestellte Modellierung ermöglicht die Synthetisierung von faser-optischen Ansichten aus beliebigem Bildmaterial und erlaubt die zu erwartende Güte einer Kalibrierung von faser-optischen Aufnahmen aufgrund der in den Experimenten erzielten Erkenntnisse abzuschätzen. Es hat sich gezeigt, dass der Rückprojektionsfehler für „faser-optische Kalibrierung“ in etwa mit dem Faktor zwischen faser-optischer Auflösung und Sensor-Auflösung skaliert und erwartungsgemäß höher ausfällt als bei starren Endoskopen.


Literatur

1.
Tsai RY. An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision. Proc's IEEE Conf. on Computer Vision and Pattern Recognition 1986; 364-374
2.
Zhang Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000; 11 : 1330-1334
3.
Heikkilä J et. al. Calibration Procedure for Short Focal Length Off-the-shelf CCD cameras. Procs's International Conference on Pattern Recognition. 1996; 166-170
4.
Wilson, R. Modeling and Calibration of Automated Zoom Lenses. Dissertation, CMU-RI-TR-94-03, Robotics Institut, Carnegie Mellon Universität, 1994
5.
Young, M.: Optics and Lasers. Heidelberg: Springer; 2000
6.
Reling J et al. Technische Endoskopie. Malmsheim: expert; 2001
7.
Winter C et al. Automatic adaptive removal of fiberscopic comb-structure by spectral masking. Proc's Computer Assisted Radiology and Surgery, Amsterdam 2005; 1283