Article
OpenHSV, ein Open-Source-System für laryngeale Hochgeschwindigkeitsendoskopie
Search Medline for
Authors
Published: | October 28, 2021 |
---|
Outline
Zusammenfassung
Hintergrund: Laryngeale Hochgeschwindigkeitsendoskopie ist ein nützliches Instrument für die zeitlich hochaufgelöste Analyse der Stimmlippenschwingung bei der Phonation. Jedoch wurden die meisten aktuell erhältlichen, kommerziellen Systeme in den letzten Jahren technisch nicht überarbeitet und bieten nur rudimentäre Datenanalysemöglichkeiten, so dass die Beurteilung der Stimmlippenbewegungen meist nur subjektiv erfolgen kann. Im Folgenden stellen wir ein neues Open-Source-System namens „OpenHSV“ vor, das zeitgemäße Hardware sowie vollautomatische Bildanalyse und Parameterberechnung, derzeit vorrangig für wissenschaftliche Arbeit, bietet.
Material und Methoden: OpenHSV basiert auf einer Hochgeschwindigkeitskamera (IDT CCM-1540), die im Megapixel-Bereich auflöst und Farbbilder erzeugt. Audio-Daten werden simultan durch ein hochwertiges Lavaliermikrofon (DPA 4060) aufgezeichnet. Die OpenHSV-Software ist in der Programmiersprache Python geschrieben und verwendet die PyQt5-Bibliothek für die grafische Oberfläche. Tiefe neurale Netze für die Glottissegmentierung wurden in TensorFlow 1.15 aufgebaut und mit dem offenen BAGLS-Datensatz trainiert. In einer Studie wurde die Funktionalität von OpenHSV getestet. Für 28 gesunde Teilnehmer wurden synchrone Video- und Audiodaten aufgezeichnet und vollautomatisch analysiert. Die Bildqualität wurde mit dem Natural Image Quality Evaluator (NIQE)-Score überprüft.
Ergebnisse: OpenHSV ist ein offenes Forschungssystem, das für die Bedürfnisse von Klinikern angepasst ist. Wir zeigen, dass die objektive Bildqualität von OpenHSV maßgeblich verbessert ist (NIQE=13.19, niedriger Wert ist besser) im Vergleich zu den Bildern, die im offenen BAGLS-Datensatz zur Verfügung stehen (28.79 für Farb- und 22.42 für Graustufenbilder). Der Vergleich von Audio- und Video-Daten mittels fundamentaler Frequenz weist eine sehr hohe Korrelation auf, mit einer medianen Abweichung von unter einem Hertz. Aus der Studie berechnete, auf Audio- und/oder Video-Daten-basierende quantitative Parameter liegen in einem Bereich, der typisch für gesunde Probanden ist.
Diskussion: OpenHSV ist ein Open-Source-System, das flexibel und modular aufgebaut ist. OpenHSV erlaubt die vollautomatische, zeitnahe Datenanalyse, die durch neuronale Netze gestützt ist. Da neuronale Netze Daten mit ähnlicher Statistik mit höherer Genauigkeit verarbeiten können, erwarten wir, dass die Segmentierungsleistung mit Verbreitung des Systems und kontinuierlicher Integration neuen Bildmaterials gesteigert wird.
Fazit: OpenHSV ist ein Open-Source-System, das hoch-qualitative, synchrone Audio- und Videodaten erzeugt und diese in derselben Oberfläche analysiert. Dieses umfassende System ist ein weiterer Bestandteil für den nächsten Schritt: die Überführung von Hochgeschwindigkeitsendoskopie in den klinischen Alltag.
Text
Hintergrund
Laryngeale Hochgeschwindigkeitsendoskopie ist ein nützliches Instrument für die zeitlich hochaufgelöste Analyse der Stimmlippenschwingung bei der Phonation. Jedoch wurden die meisten aktuell erhältlichen, kommerziellen Systeme in den letzten Jahren technisch nicht überarbeitet und bieten nur rudimentäre Datenanalysemöglichkeiten, so dass die Beurteilung der Stimmlippenbewegungen meist nur subjektiv erfolgen kann. Im Folgenden stellen wir ein neues Open-Source-System namens „OpenHSV“ vor, das zeitgemäße Hardware sowie vollautomatische Bildanalyse und Parameterberechnung, derzeit vorrangig für wissenschaftliche Arbeit, bietet.
Material und Methoden
OpenHSV basiert auf einer Hochgeschwindigkeitskamera (IDT CCM-1540), die im Megapixel-Bereich auflöst und Farbbilder erzeugt. Audio-Daten werden simultan durch ein hochwertiges Lavaliermikrofon (DPA 4060) aufgezeichnet. Die OpenHSV-Software ist in der Programmiersprache Python geschrieben und verwendet die PyQt5-Bibliothek für die grafische Oberfläche. Tiefe neurale Netze für die Glottissegmentierung wurden in TensorFlow 1.15 aufgebaut und mit dem offenen BAGLS-Datensatz [1] trainiert. In einer Studie wurde die Funktionalität von OpenHSV getestet. Für 28 gesunde Teilnehmer wurden synchrone Video- und Audiodaten aufgezeichnet und vollautomatisch analysiert. Die Bildqualität wurde mit dem Natural Image Quality Evaluator (NIQE)-Score [2] überprüft.
Ergebnisse
OpenHSV ist ein offenes Forschungssystem, das für die Bedürfnisse von Klinikern angepasst ist. Wir zeigen, dass die objektive Bildqualität von OpenHSV maßgeblich verbessert ist (Abbildung 1A [Abb. 1], NIQE=13.19, niedriger Wert ist besser) im Vergleich zu den Bildern, die im offenen BAGLS-Datensatz zur Verfügung stehen (28.79 für Farb- und 22.42 für Graustufenbilder). Der Vergleich von Audio- und Video-Daten mittels fundamentaler Frequenz weist eine sehr hohe Korrelation auf, mit einer medianen Abweichung von unter zwei Hertz (Abbildung 1B [Abb. 1]). Aus der Studie berechnete, auf Audio- und/oder Video-Daten basierende quantitative Parameter liegen in einem Bereich, der typisch für gesunde Probanden ist.
Diskussion
OpenHSV ist ein Open-Source-System, das flexibel und modular aufgebaut ist. OpenHSV erlaubt die vollautomatische, zeitnahe Datenanalyse, die durch neuronale Netze gestützt ist. Da neuronale Netze Daten mit ähnlicher Statistik mit höherer Genauigkeit verarbeiten können, erwarten wir, dass die Segmentierungsleistung mit Verbreitung des Systems und kontinuierlicher Integration neuen Bildmaterials gesteigert wird.
Fazit
OpenHSV ist ein Open-Source-System, das hoch-qualitative, synchrone Audio- und Videodaten erzeugt und diese in derselben Oberfläche analysiert. Dieses umfassende System ist ein weiterer Bestandteil für den nächsten Schritt: die Überführung von Hochgeschwindigkeitsendoskopie in den klinischen Alltag.
Literatur
- 1.
- Gómez P, Kist AM, Schlegel P, Berry DA, Chhetri DK, Dürr S, Echternach M, Johnson AM, Kniesburges S, Kunduk M, Maryn Y, Schützenberger A, Verguts M, Döllinger M. BAGLS, a multihospital Benchmark for Automatic Glottis Segmentation. Sci Data. 2020;7(1):186. DOI: 10.1038/s41597-020-0526-3
- 2.
- Mittal A, Soundararajan R, Bovik AC. Making a “completely blind” image quality analyzer. IEEE Signal processing letters. 2012;20(3):209-12. DOI: 10.1109/LSP.2012.2227726