Artikel
Eine Virtual-Reality-basierte Methode zur Untersuchung der audiovisuellen Prosodiewahrnehmung mit Cochlea-Implantaten
Suche in Medline nach
Autoren
-
Hartmut Meister
- Jean-Uhrmacher-Institut für klinische HNO-Forschung, Universität zu Köln, Köln, DE
-
Isa Samira Winter
- Universität zu Köln, Köln, DE
-
Moritz Wächtler
- Jean-Uhrmacher-Institut für klinische HNO-Forschung, Universität zu Köln, Köln, DE
-
Pascale Sandmann
- Universitätsklinikum Köln, Köln, DE
-
Khaled H Abdellatif
- Jean-Uhrmacher-Institut für klinische HNO-Forschung, Universität zu Köln, Köln, DE
| Veröffentlicht: | 12. September 2022 |
|---|
Gliederung
Text
Fragestellung: Die Prosodie spielt eine wichtige Rolle bei der verbalen Kommunikation. Sie ist von Bedeutung für den Ausdruck von Emotionen (affektive Prosodie), trägt aber auch Sprachinformationen in Bezug auf Wort- und Satzbetonung oder die Unterscheidung zwischen Fragen und Aussagen (linguistische Prosodie). Akustische Merkmale der Prosodie, wie z.B. Intonationsmuster, Intensität und Dauer, sind umfassend untersucht worden. Prosodie wird jedoch nicht nur auditiv, sondern auch visuell wahrgenommen, da Kopf- und Gesichtsbewegungen die Sprachproduktion begleiten. Im Vergleich zu auditiven Faktoren sind die multimodalen Mechanismen jedoch noch wenig verstanden.
Methoden: Während kontrollierte Manipulationen akustischer Signale eine wichtige Methode zur Aufdeckung und Quantifizierung der Prosodiewahrnehmung darstellen, ist eine solche Vorgehensweise für dreidimensionale Bewegungsmuster wesentlich komplizierter. Hier können aktuelle Techniken Virtueller Realität (VR) nützlich sein. Es wird ein neuartiger Ansatz beschrieben, der auf videorealistischen Animationen von virtuellen Charakteren (Avatare) basiert. Eine solche Methode hat den Vorteil, dass - parallel zu akustischen Manipulationen - Kopf- und Gesichtsbewegungen parametrisiert werden können.
Ergebnisse: Auf der Basis einer technischen Evaluation wird gezeigt, dass solche Animationen grundsätzlich in der Lage sind, ähnliche Bewegungsmuster zu liefern, wie sie bei Videoaufnahmen eines realen Sprechers gewonnen werden. Die potenzielle Anwendung dieser Technik wird im Rahmen der Untersuchung der Prosodiewahrnehmung mit Cochlea-Implantaten diskutiert.
Schlussfolgerungen: Der Einsatz von VR im Rahmen der Erforschung verbaler und non-verbaler Kommunikation verspricht eine wertvolle Erweiterung des Methodenspektrums.
Funding: Gefördert durch die Deutsche Forschungsgemeinschaft (Kennzeichen ME 2157/4-1, SA 3615/1-1, SA 3615/2-1)
