Article
Entwicklung und Evaluation eines Deep Learning-Algorithmus für die Worterkennung aus Lippenbewegungen für die deutsche Sprache
Search Medline for
Authors
-
Nam Pham Dinh
- Martin-Luther Universität Halle-Wittenberg, Halle (Saale), DE
-
Torsten Rahne
- Martin-Luther Universität Halle-Wittenberg, Halle (Saale), DE
| Published: | September 12, 2022 |
|---|---|
| Published with erratum: | January 1, 0001 |
Outline
Text
Fragestellung: Zahlreiche Menschen profitieren beim Lippenlesen von den zusätzlichen visuellen Informationen aus den Lippenbewegungen des Sprechenden, welches jedoch sehr fehleranfällig ist. Algorithmen zum Lippenlesen mit auf künstlichen neuronalen Netzwerken basierender künstlicher Intelligenz verbessern die Wortkennung signifikant, stehen jedoch nicht für die deutsche Sprache zur Verfügung.
Methoden: Es wurden 1.806 Videos mit jeweils nur einer deutsch sprechenden Person selektiert, in Wortsegmente unterteilt und mit einer Spracherkennungssoftware Wortklassen zugeordnet. In 38.391 Videosegmenten mit 32 Sprechenden wurden achtzehn mehrsilbige, visuell voneinander unterscheidbare Wörter zum Trainieren und Validieren eines neuronalen Netzwerks verwendet. Die Modelle 3D Convolutional Neural Network, Gated Recurrent Units und die Kombination beider Modelle (GRUConv) wurden ebenso verglichen wie unterschiedliche Bildausschnitte und Farbräume der Videos. Die Korrektklassifikationsrate wurde jeweils innerhalb von 5000 Trainingsepochen ermittelt.
Ergebnisse: Der Vergleich der Farbräume ergab keine relevant unterschiedlichen Korrektklassifikationsraten im Bereich von 69.23% (HSV) bis 72,15% (YcbCr). Bei Zuschneidung auf die Lippen wurde mit 70,29% eine deutlich höhere Korrektklassifikationsrate als bei Zuschnitt auf das gesamte Sprechergesicht (33,82%) erreicht. Mit dem GRUConv-Modell betrugen die maximalen Korrektklassifikationsraten 87,3% bei bekannten Sprechenden und 62,61% in der Validierung mit unbekannten Sprechenden.
Schlussfolgerungen: Das erstmals für die deutsche Sprache entwickelte neuronale Netzwerk zum Lippenlesen zeigt eine sehr große, mit englischsprachigen Algorithmen vergleichbare Genauigkeit. Es funktioniert auch mit unbekannten Sprechenden und kann mit mehr Wortklassen generalisiert werden.
