gms | German Medical Science

Fragestellung: Hintergrundgeräusche können das Verstehen von Sprache sehr erschweren, insbesondere für Menschen mit Hörschäden. Trotz beachtlicher Forschungsanstrengungen verbessern derzeitige Hörhilfen das Sprachverstehen in Hintergrundrauschen immer noch wenig. Ein möglicher Weg zur Erhöhung des Sprachverstehens ist die Verwendung anderer sensorischer Modalitäten. Das Sehen des Gesichts eines Sprechers kann beim Sprachverstehen beispielsweise erheblich helfen. Haptische Signale können ebenso dazu beitragen, verschieden Sprachbestandteile voneinander zu unterscheiden. Um die visuelle oder somatosensorische Modalität für eine Verbesserung des Sprachverständnisses zu nutzen, müssen jedoch geeignete visuelle oder haptische Signale aus einem Sprachsignal konstruiert werden, um dann simultan dem Benutzer einer Hörhilfe präsentiert zu werden.

Methoden: Wir zeigen hier, wie solche Konstruktionen durchgeführt werden können und dass sie in der Lage sind, das Sprachverstehen in Hintergrundrauschen zu verbessern. Zuerst zeigen wir, wie ein Generative Adversarial Network (GAN), ein Typ eines tiefen neuronalen Netzwerks, Gesichtsanimationen von einem Sprachsignal bilden kann. Zweitens konstruieren wir eine Serie von haptischen Pulsen, welche die perzeptuellen Zentren der Silben betonen.

Ergebnisse: Wir weisen nach, dass sowohl die visuellen wie auch die haptischen Signale das Verständnis von Sprache unterstützen. Dabei bleibt die Verbesserung, die durch die künstlich erzeugten Gesichtsanimationen hervorgerufen wird, jedoch hinter der der natürlichen Gesichtsbewegungen zurück. Die haptischen Signale bewirken eine Unterstützung des Sprachverstehens durch eine Modulation der neuronalen Aktivität im auditorischen Kortex, die mit Sprachrhythmen verknüpft ist.

Schlussfolgerungen: Unsere Ergebnisse öffnen einen Weg, um visuelle und haptische Signale in Hörhilfen zu verwenden, und damit das Verstehen von Sprache in Hintergrundrauschen zu verbessern.