gms | German Medical Science

Objektiv-apparative Stimmbewertungen werden derzeit meist auf der Basis gehaltener Vokale durchgeführt. Jedoch reflektiert ein isolierter Vokal keine reale Kommunikationssituation. In früheren Arbeiten wurde gezeigt, dass automatische Spracherkennungsverfahren verwendet werden können, um die Verständlichkeit von pathologischen Sprechern automatisch zu bewerten [Ref. 1], [Ref. 2], [Ref. 3]. Grundlage der Methode war die Annahme, dass das Spracherkennungssystem umso weniger Wörter eines vorgegebenen Standardtextes „versteht“, je schlechter die Stimmqualität des Sprechers ist. Das Programm kann jedoch nur diejenigen Wörter erkennen, die in seiner Vokabularliste gespeichert sind. Weicht der Patient aufgrund von Lesefehlern, wie z.B. „Der Mor- Nordwind“, oder Äußerungen wie „Ich habe meine Brille nicht auf.“ von dem Standardtext ab, kann dies trotz guter Stimmqualität zu einer niedrigen Erkennungsrate und damit zu einer falschen Bewertung der Stimme führen. Der Fokus dieser Studie lag deshalb auf dem Einfluss von Lesefehlern auf die Korrelation zwischen der automatischen Evaluierung und der Referenzbewertung durch Experten.

Als Testsprecher dienten 85 Personen mit Krebserkrankungen des Kehlkopfes, davon 65 nach einer Larynxteilresektion. Das Durchschnittsalter innerhalb der Gruppe betrug 60,7±9,2 Jahre (min. 34,0, max. 83,0 Jahre), zehn der Patienten waren weiblich. Jede Testperson las den “Nordwind und Sonne”-Text vor und wurde dabei mit einer Abtastfrequenz von 16 kHz und einer Amplitudenauflösung von 16 bit aufgenommen.

Als Vergleichsbasis für die automatische Evaluierung bewerteten fünf Experten das Kriterium „Gesamtverständlichkeit“ bei jedem Sprecher mit Noten von 1 („sehr gut verständlich“) bis 5 („extrem schlecht verständlich“). Aus den fünf Bewertungen für jede Aufnahme wurde jeweils eine Durchschnittsnote gebildet.

Aus den Originalaufnahmen des Textes wurde jeweils eine zweite Variante erstellt, aus der Lesefehler und Äußerungen, die nicht zum Text gehörten, herausgeschnitten wurden. Insgesamt wurden 368 (3,9%) der 9519 Wörter und Wortfragmente in den Aufnahmen auf diese Weise entfernt (vgl. Abbildung 1 [Abb. 1]).

Das auf Hidden-Markov-Modellen basierende Spracherkennungssystem war unabhängig vom gegenwärtigen Projekt am Lehrstuhl für Mustererkennung der Universität Erlangen-Nürnberg entwickelt und bereits in zahlreichen Forschungsprojekten erfolgreich eingesetzt worden. Von einer Ausgründung des Lehrstuhls (http://www.sympalog.de) wird es mit Erfolg zum Einsatz in Telefondialogsystemen vertrieben.

Zielkriterium der automatischen Analyse waren die Wortakkuratheit WA und die Worterkennungsrate WR, die mit der Verständlichkeitsbewertung durch die Experten korreliert wurden. Die Wortakkuratheit errechnet sich aus der Formel

WA [%] = 100 * [1–(N_sub+N_del+N_ins)/N_ges] , wobei

N_sub: Anzahl der vom Erkennungssystem durch andere Wörter ersetzten, d.h. „verwechselten“, Wörter (Substitutionen)

N_del: Anzahl der nicht erkannten Wörter (Deletionen)

N_ins: Anzahl der fälschlicherweise eingefügten Wörter (Insertionen)

N_ges: Anzahl aller gesprochenen Wörter

Die Wortkorrektheit oder Worterkennungsrate (engl. „word recognition rate“, WR), wird genau wie die Wortakkuratheit berechnet, allerdings ohne Berücksichtigung der fälschlicherweise eingefügten Wörter N_ins. Der Maximalwert von Wortakkuratheit und Wortkorrektheit beträgt 100%. Der mögliche Minimalwert der Wortkorrektheit ist 0%, während die Wortakkuratheit bei großem N_ins auch negativ werden kann.

Die Korrelation zwischen den menschlichen Verständlichkeitsbewertungen und der Maschine lagen bei r=–0,61 für die WA und r=–0,55 für die WR, sowohl für die Originalaufnahmen als auch für die Aufnahmen, aus denen die Lesefehler eliminiert worden waren. In Tabelle 1 [Tab. 1] sind jeweils die Messgröße, ihr Mittelwert µ und ihre Standardabweichung σ, der Minimal- und Maximalwert sowie die Korrelation r zur Expertenbewertung angegeben.

Im Hinblick auf die breite klinische Anwendung der Messmethode kann folgendes geschlossen werden: Lesefehler müssen nicht gesondert eliminiert werden. Sie haben keinen entscheidenden Einfluss auf das Auswertungsergebnis. Es bleibt zu prüfen, ob sich die Gesamtkorrelation noch verbessern lässt, wenn häufig auftretende Fehler oder zusätzliche Phrasen, die nicht zum Text gehören, in das Erkennungsvokabular aufgenommen werden.

Diese Arbeit wird von der Deutschen Krebshilfe (Fördernr. 107873) gefördert.