gms | German Medical Science

50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds)
12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie (dae)

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie
Deutsche Arbeitsgemeinschaft für Epidemiologie

12. bis 15.09.2005, Freiburg im Breisgau

Bridging the Semantic Gap - Formulierung objektbasierter Anfragen an medizinische Bilddatenbanken

Meeting Abstract

  • Christian Thies - RWTH Aachen, Aachen
  • Mark Oliver Güld - RWTH Aachen, Aachen
  • Benedikt Fischer - RWTH Aachen, Aachen
  • Thomas Lehmann - RWTH Aachen, Aachen
  • Klaus Spitzer - RWTH Aachen, Aachen

Deutsche Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie. Deutsche Arbeitsgemeinschaft für Epidemiologie. 50. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie (gmds), 12. Jahrestagung der Deutschen Arbeitsgemeinschaft für Epidemiologie. Freiburg im Breisgau, 12.-15.09.2005. Düsseldorf, Köln: German Medical Science; 2005. Doc05gmds278

The electronic version of this article is the complete one and can be found online at: http://www.egms.de/en/meetings/gmds2005/05gmds402.shtml

Published: September 8, 2005

© 2005 Thies et al.
This is an Open Access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by-nc-nd/3.0/deed.en). You are free: to Share – to copy, distribute and transmit the work, provided the original author and source are credited.


Outline

Text

Einleitung

Zur quantitativen Auswertung von Bildinhalten müssen in der Medizin die jeweils relevanten Bildobjekte klassifiziert, vermessen und gezählt werden. So werden z.B. bei der Maturitätsbestimmung die Lage, Größe und Form der Handknochen in einer radiologischen Aufnahme ausgewertet. Derartige Auswertungen würden durch einen effizienten Zugriff auf ähnliche Bilder aus dem Archiv mit den zugehörigen Patientendaten erheblich erleichtert [1]. Für solche Anfragen muss der Anwender sein abstraktes Objektwissen so formulieren können, dass es auf eine formale und allgemeine Datenstruktur abbildbar ist, die hinreichend konkret sein muss, um alle im Bild vorhandenen Objekte in ihren heterogenen pixelbasierten Ausprägungen zu erfassen. Diese Diskrepanz zwischen abstrakter und datenbasierter Semantik wird in der Literatur als Semantic Gap bezeichnet [2]. In dieser Arbeit wird ein Lösungsansatz vorgestellt, die Semantic Gap zu verkleinern. Er basiert auf der Integration einer hierarchischen Partitionierung der Bilder in der medizinischen Datenbank und einer grafischen Benutzerschnittstelle [3].

Hierarchische Abstraktion und Datenverwaltung

Im ersten Schritt des zweistufigen Abstraktionskonzepts wird ein Eingabebild mit einer kausalen Multiskalensegmentierung in alle visuell nachvollziehbaren Objekte zerlegt. Die resultierende hierarchische Partitionierung wird durch einen hierarchischen attributierten Regionen Adjazenzgraph (HARAG) modelliert. In diesem Graph entsprechen die Knoten den Bildregionen, die Regioneninklusion der Hierarchie und die Nachbarschaft in einer Skala den Adjazenzen. Regioneneigenschaften werden in Attributvektoren zusammengefasst [4].

Um geeignete Partitionierungen zu erzeugen, werden aus einem Bild HARAGs mit unterschiedlichen Parametrierungen extrahiert. Diese Berechnungen werden für jedes Bild bereits bei der Ablage im Archiv durchgeführt. Dabei werden auch die Verwaltungsinformationen zu verfügbaren Extraktionsverfahren sowie die empirisch ermittelten Parametersätze erfasst. Diese gesamte Vorverarbeitung bleibt dem Anwender jedoch verborgen.

Die Benutzerschnittstelle zur Formulierung von Objektanfragen

Anfragen werden als Suche über den Regionenattributen durchgeführt, die in den Knoten des HARAGs vorliegen. Resultate sind hierbei die Regionen des aktuell betrachteten Bildes, welche den in der Anfrage vorgegebenen Attributwerten entsprechen. Dabei wird der Anwender von einer intuitiven Benutzerschnittstelle unterstützt, die ihm die Auswahl der Attribute und Attributwerte zur Objektbeschreibung aus dem HARAG ermöglicht. Die Bestimmung dieser Werte erfolgt durch die Point & Click-Auswahl einer Referenzregion. Dazu ist es möglich, entweder die vollständigen Partitionierungen einzelner Skalen zu sichten oder ausgehend von einem Bildpunkt gezielt eine passende Inklusionsregion in der Hierarchie zu suchen. In beiden Fällen muss der Anwender lediglich einen Slider betätigen, der die Skalen des Partitionierungsprozesses repräsentiert (Abb. 1 [Abb. 1]).

Zu der Region werden gegenwärtig 38 Attribute präsentiert, die Größe, Form und Grauwertverteilung beschreiben. Zur Suche steht ein Intervallklassifikator zur Verfügung, der in Form einer Intervallmaske parametriert wird (Abb. 1 [Abb. 1]). Hier bilden die Attribute und die Attributwerte das Wissen des Anwenders ab. Die so formulierte Anfrage wird gespeichert und dann auf beliebige HARAGs in der Datenbank zur Objektsuche angewandt.

Die grafische Benutzerschnittstelle wurde plattformunabhängig in Java 1.5.0 implementiert, was zusätzlich die erforderliche Netzwerkkommunikation erleichtert. Die Einbindung in Webseiten erfolgt mittels Java WebStart 1.4.2, das die Auslieferung von Java-Applikationen über einen Webserver ermöglicht, die Aktualität der Applikation auf dem Rechner des Benutzers sicherstellt und die Parameterübergabe erlaubt. Zur Implementierung serverseitiger Funktionalität wird PHP 4 verwendet. Bild und HARAG werden durch die Java-Applikation per HTTP-Protokoll über den Webserver bezogen und angezeigt.

Experiment und Ergebnisse

Das Konzept wurde anhand der Extraktion von Metakarpalknochen aus Handradiographien getestet. Deren Vermessung ist Teil der Maturitätsanalyse. Dazu wurden aus der IRMA-Datenbank [5], die Bilder aus der radiologischen Routine enthält, zufällig 105 Bilder ausgewählt. Für wiederum fünf zufällig ausgewählte Bilder wurden die HARAGs generiert und mit der Benutzerschnittstelle gesichtet [6]. Die Anwendung wird dazu aus einem Browser gestartet, nachdem die entsprechenden Links auf die HARAGs in der serverseitig generierten Webseite ausgewählt wurden. Zu den abgebildeten Regionen, die Metakarpalknochen entsprechen, ergaben sich 9 charakteristische Attributintervalle. Damit wurden von insgesamt 372 segmentierten Regionen in den 100 verbleibenden HARAGs 225 korrekt und 205 falsch extrahiert.

Diskussion

Die Anfrageformulierung bietet eine intuitive Schnittstelle zur Formulierung von Expertenwissen und ist ein Werkzeug zur Überbrückung der Semantic Gap. Das Verfahren zur Berechnung der HARAGs und der Klassifikator sind beliebig austauschbar, was ein entsprechendes Potential zur Verbesserung der Extraktionsergebnisse bietet.

Die Verwendung von Java WebStart macht die interaktive Auswertung eines HARAGs wartungsfrei und ortsunabhängig verfügbar. Der administrative Aufwand durch den Anwender ist minimal, er benötigt Serverzugriff und einen Webbrowser mit Java VM. Der Ansatz ermöglicht die dezentrale Verfügbarkeit einer zentralen Datenbank in einem klinischen Anwendungsszenario mit zahlreichen Clients, die auf einen Server zugreifen.

Danksagung

Diese Arbeit wurde im Rahmen des Projekts Image Retrieval in Medical Applications (IRMA) durchgeführt und von der DFG gefördert (Le 1108/4).


Literatur

1.
Müller H, Michoux N, Bandon D, Geissbuhler A. A review of content-based image retrieval systems in medical applications. Clinical benefits and future directions. International Journal of Medical Informatics 2004; 73: 1-23.
2.
Smeulders AWM, Worring M, Santini S, Gupta A, Jain R. Content-based image retrieval at the end of the early years; IEEE Transactions on Pattern Analysis and Machine Intelligence 2000; 22(12): 1349-1380.
3.
Lehmann TM, Güld MO, Thies C, Fischer B, Spitzer K, Keysers D, Ney H, Kohnen M, Schubert H, Wein BB. Content-based image retrieval in medical applications. Methods of Information in Medicine 2004; 43(4): 354-361.
4.
Lehmann TM, Beier D, Thies C, Seidl T. Segmentation of medical images combining local, regional, global, and hierarchical distances into a bottom-up region merging scheme. Procs SPIE 2005; 5747: in press.
5.
Lehmann TM, Fischer B, Güld MO, Thies C, Keysers D, Deselaers T, Schubert H, Wein BB, Spitzer K. The IRMA reference database and its use for content-based image retrieval in medical applications In: Ammenwerth E, Gaus W, Haux R, Lovis C, Pfeiffer KP, Tilg B, Wichmann HE (Hrsg): GMDS 2004 - Kooperative Versorgung - Vernetzte Forschung - Ubiquitäre Information. Verlag videel OHG, Niebüll, 2004; 251-253.
6.
Thies C, Ostwald T, Fischer B, Lehmann TM. Automatisierte Extraktion von Fingergliedern aus einer Bilddatenbank von Handradiographien mittels intervallgestützter Merkmalssuche in hierarchisch partitionierten Bildern In: Meinzer HP, Handels H, Horsch A, Tolxdorff T (Hrsg) Bildverarbeitung für die Medizin 2005, Springer-Verlag, Berlin, 2005; 1-5.