gms | German Medical Science

37. Wissenschaftliche Jahrestagung der Deutschen Gesellschaft für Phoniatrie und Pädaudiologie (DGPP)

Deutsche Gesellschaft für Phoniatrie und Pädaudiologie e. V.

17.09. - 18.09.2021, digital

OpenHSV, ein Open-Source-System für laryngeale Hochgeschwindigkeitsendoskopie

Vortrag

  • corresponding author presenting/speaker Andreas Kist - Department Artificial Intelligence in Biomedical Engineering, Friedrich-Alexander-Universität Erlangen-Nürnberg, Erlangen, Deutschland
  • Stephan Dürr - Universitätsklinikum Erlangen, Erlangen, Deutschland
  • Anne Schützenberger - Universitätsklinikum Erlangen, Erlangen, Deutschland
  • Michael Döllinger - Universitätsklinikum Erlangen, Erlangen, Deutschland

37. Wissenschaftliche Jahrestagung der Deutschen Gesellschaft für Phoniatrie und Pädaudiologie (DGPP). sine loco [digital], 17.-18.09.2021. Düsseldorf: German Medical Science GMS Publishing House; 2021. DocV32

doi: 10.3205/21dgpp03, urn:nbn:de:0183-21dgpp033

Veröffentlicht: 28. Oktober 2021

© 2021 Kist et al.
Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). Lizenz-Angaben siehe http://creativecommons.org/licenses/by/4.0/.


Zusammenfassung

Hintergrund: Laryngeale Hochgeschwindigkeitsendoskopie ist ein nützliches Instrument für die zeitlich hochaufgelöste Analyse der Stimmlippenschwingung bei der Phonation. Jedoch wurden die meisten aktuell erhältlichen, kommerziellen Systeme in den letzten Jahren technisch nicht überarbeitet und bieten nur rudimentäre Datenanalysemöglichkeiten, so dass die Beurteilung der Stimmlippenbewegungen meist nur subjektiv erfolgen kann. Im Folgenden stellen wir ein neues Open-Source-System namens „OpenHSV“ vor, das zeitgemäße Hardware sowie vollautomatische Bildanalyse und Parameterberechnung, derzeit vorrangig für wissenschaftliche Arbeit, bietet.

Material und Methoden: OpenHSV basiert auf einer Hochgeschwindigkeitskamera (IDT CCM-1540), die im Megapixel-Bereich auflöst und Farbbilder erzeugt. Audio-Daten werden simultan durch ein hochwertiges Lavaliermikrofon (DPA 4060) aufgezeichnet. Die OpenHSV-Software ist in der Programmiersprache Python geschrieben und verwendet die PyQt5-Bibliothek für die grafische Oberfläche. Tiefe neurale Netze für die Glottissegmentierung wurden in TensorFlow 1.15 aufgebaut und mit dem offenen BAGLS-Datensatz trainiert. In einer Studie wurde die Funktionalität von OpenHSV getestet. Für 28 gesunde Teilnehmer wurden synchrone Video- und Audiodaten aufgezeichnet und vollautomatisch analysiert. Die Bildqualität wurde mit dem Natural Image Quality Evaluator (NIQE)-Score überprüft.

Ergebnisse: OpenHSV ist ein offenes Forschungssystem, das für die Bedürfnisse von Klinikern angepasst ist. Wir zeigen, dass die objektive Bildqualität von OpenHSV maßgeblich verbessert ist (NIQE=13.19, niedriger Wert ist besser) im Vergleich zu den Bildern, die im offenen BAGLS-Datensatz zur Verfügung stehen (28.79 für Farb- und 22.42 für Graustufenbilder). Der Vergleich von Audio- und Video-Daten mittels fundamentaler Frequenz weist eine sehr hohe Korrelation auf, mit einer medianen Abweichung von unter einem Hertz. Aus der Studie berechnete, auf Audio- und/oder Video-Daten-basierende quantitative Parameter liegen in einem Bereich, der typisch für gesunde Probanden ist.

Diskussion: OpenHSV ist ein Open-Source-System, das flexibel und modular aufgebaut ist. OpenHSV erlaubt die vollautomatische, zeitnahe Datenanalyse, die durch neuronale Netze gestützt ist. Da neuronale Netze Daten mit ähnlicher Statistik mit höherer Genauigkeit verarbeiten können, erwarten wir, dass die Segmentierungsleistung mit Verbreitung des Systems und kontinuierlicher Integration neuen Bildmaterials gesteigert wird.

Fazit: OpenHSV ist ein Open-Source-System, das hoch-qualitative, synchrone Audio- und Videodaten erzeugt und diese in derselben Oberfläche analysiert. Dieses umfassende System ist ein weiterer Bestandteil für den nächsten Schritt: die Überführung von Hochgeschwindigkeitsendoskopie in den klinischen Alltag.


Text

Hintergrund

Laryngeale Hochgeschwindigkeitsendoskopie ist ein nützliches Instrument für die zeitlich hochaufgelöste Analyse der Stimmlippenschwingung bei der Phonation. Jedoch wurden die meisten aktuell erhältlichen, kommerziellen Systeme in den letzten Jahren technisch nicht überarbeitet und bieten nur rudimentäre Datenanalysemöglichkeiten, so dass die Beurteilung der Stimmlippenbewegungen meist nur subjektiv erfolgen kann. Im Folgenden stellen wir ein neues Open-Source-System namens „OpenHSV“ vor, das zeitgemäße Hardware sowie vollautomatische Bildanalyse und Parameterberechnung, derzeit vorrangig für wissenschaftliche Arbeit, bietet.

Material und Methoden

OpenHSV basiert auf einer Hochgeschwindigkeitskamera (IDT CCM-1540), die im Megapixel-Bereich auflöst und Farbbilder erzeugt. Audio-Daten werden simultan durch ein hochwertiges Lavaliermikrofon (DPA 4060) aufgezeichnet. Die OpenHSV-Software ist in der Programmiersprache Python geschrieben und verwendet die PyQt5-Bibliothek für die grafische Oberfläche. Tiefe neurale Netze für die Glottissegmentierung wurden in TensorFlow 1.15 aufgebaut und mit dem offenen BAGLS-Datensatz [1] trainiert. In einer Studie wurde die Funktionalität von OpenHSV getestet. Für 28 gesunde Teilnehmer wurden synchrone Video- und Audiodaten aufgezeichnet und vollautomatisch analysiert. Die Bildqualität wurde mit dem Natural Image Quality Evaluator (NIQE)-Score [2] überprüft.

Ergebnisse

OpenHSV ist ein offenes Forschungssystem, das für die Bedürfnisse von Klinikern angepasst ist. Wir zeigen, dass die objektive Bildqualität von OpenHSV maßgeblich verbessert ist (Abbildung 1A [Abb. 1], NIQE=13.19, niedriger Wert ist besser) im Vergleich zu den Bildern, die im offenen BAGLS-Datensatz zur Verfügung stehen (28.79 für Farb- und 22.42 für Graustufenbilder). Der Vergleich von Audio- und Video-Daten mittels fundamentaler Frequenz weist eine sehr hohe Korrelation auf, mit einer medianen Abweichung von unter zwei Hertz (Abbildung 1B [Abb. 1]). Aus der Studie berechnete, auf Audio- und/oder Video-Daten basierende quantitative Parameter liegen in einem Bereich, der typisch für gesunde Probanden ist.

Diskussion

OpenHSV ist ein Open-Source-System, das flexibel und modular aufgebaut ist. OpenHSV erlaubt die vollautomatische, zeitnahe Datenanalyse, die durch neuronale Netze gestützt ist. Da neuronale Netze Daten mit ähnlicher Statistik mit höherer Genauigkeit verarbeiten können, erwarten wir, dass die Segmentierungsleistung mit Verbreitung des Systems und kontinuierlicher Integration neuen Bildmaterials gesteigert wird.

Fazit

OpenHSV ist ein Open-Source-System, das hoch-qualitative, synchrone Audio- und Videodaten erzeugt und diese in derselben Oberfläche analysiert. Dieses umfassende System ist ein weiterer Bestandteil für den nächsten Schritt: die Überführung von Hochgeschwindigkeitsendoskopie in den klinischen Alltag.


Literatur

1.
Gómez P, Kist AM, Schlegel P, Berry DA, Chhetri DK, Dürr S, Echternach M, Johnson AM, Kniesburges S, Kunduk M, Maryn Y, Schützenberger A, Verguts M, Döllinger M. BAGLS, a multihospital Benchmark for Automatic Glottis Segmentation. Sci Data. 2020;7(1):186. DOI: 10.1038/s41597-020-0526-3 Externer Link
2.
Mittal A, Soundararajan R, Bovik AC. Making a “completely blind” image quality analyzer. IEEE Signal processing letters. 2012;20(3):209-12. DOI: 10.1109/LSP.2012.2227726 Externer Link