gms | German Medical Science

Hintergrund: Biomedizinische Forschung ist multilingual mit Englisch als vorherrschender Wissenschaftssprache. Auch in der klinischen Arbeit ist Mehrsprachigkeit angesichts entsprechender Patientenkollektive oder Versorgungsteams relevant. Die leichte Verfügbarkeit von Web-Apps zur Übersetzung lädt dazu ein, Fachbegriffe ad hoc zu minimalen Kosten zu übersetzen [1]. Daher stellt sich die Frage nach Qualität und Nutzen solcher Übersetzungen. Schulz et al. zeigten in einer Bilingual Evaluation Understudy (BLEU) für 500 zufällig gewählte SNOMED CT-Einträge (fully specified names), dass Web-Apps wie Google Translate aus Sicht der Autoren überraschend gute Ergebnissen erzielten [2]. Pecina et al. konnten zeigen, dass speziell trainierte Maschinenübersetzer die Retrieval Rate biomedizinischer Fachinformationen drastisch erhöhen [3], [4]. Es liegt deshalb nahe, zu überprüfen, bis zu welchem (Abdeckungs-)Grad Web-Apps biomedizinische Fachterminologie in z.B. für das Informationsretrival ausreichender Qualität übersetzen. Medizinische Terminologiesysteme mit offiziellen Übersetzungen lassen sich als Goldstandard nutzen. Ziel des Projekts war es, Qualität und Abdeckungsgrad von Übersetzung der Medical Subject Headings (MeSH) durch Web-Apps zu bewerten.

Methoden: Das Projekt nutzte die Übersetzung der MeSH des Deutschen Instituts für Medizinische Dokumentation und Information (DIMDI). Mittels der Application Programming Interfaces (APIs) von Google Translate, Bing Translator und Wikipedia wurden für sämtliche 27.456 MeSH Main Headings (Tabelle MH) Übersetzungen abgefragt und tabelliert. Zur Prüfung der Übereinstimmung zwischen der offiziellen DIMDI-Übersetzung und den maschinell generierten Übersetzungen wurde 1) die Wortähnlichkeit durch die Levenshtein-Distanz (LD, jeweils absolut und normiert bzgl. Wortlänge) quantifiziert [5] und 2) eine qualitative Bewertung von randomisiert ausgewählten Stichproben durch medizinterminologisch geschulte Bewerter vorgenommen. Für diese Bewertung wurden je 100 Main Headings niedriger, mittlerer und hoher LD selektiert und beurteilt.

Ergebnisse: Bing Translator übersetzte ca. 70% der MeSH Headings durch identische Wörter. Die Übereinstimmung zusammengesetzter Ausdrücke in Kasus, Numerus und Genus (KNG-Kongruenz) war im Bing Translator höher als in Google Translate, was dessen geringeren Wert für die identische Übersetzung (knapp 50%) erklärt. Bei Toleranz einer absoluten LD <=3 verschwindet der Unterschied weitgehend. Die Levenshtein-Distanzen sind charakteristisch verteilt: Gehäuft treten kleine Distanzen (abs. LD: 1-3) auf, während höhere Distanzen recht gleichmäßig und deutlich seltener anzutreffen sind. Kleinere LD-Werte sind meist auf Flexion sonst übereinstimmender Wörter, hohe LD-Werte auf Umstellungen (z.B. Vor-/Nachstellung des Adjektivs) und synonyme Bezeichnungen zurückzuführen. Sinnentstellende Übersetzungen traten in den Stichproben nicht auf, selten erscheinen umgangs- statt fachsprachliche Terme. In der Gruppe mittlerer LD treten Prä- und Suffixe auf, die teilweise bedeutungsrelevant sind. Die Abdeckung der MeSH Main Headings durch englischsprachige Wikipedia Artikel liegt bei fast 43% (vgl. deutschsprachig 37%); für ca. 30% aller MeSH Headings liegen die Artikel in beiden Sprachen vor.

Zusammenfassung: Das vorliegende Projekt stützt die durch Schulz et al. [2] getroffene Einschätzung auf Basis eines umfassenden Vergleichs (27.456 Terme): Die Übersetzungsqualität ist überraschend hoch. Sie nimmt allerdings für zusammengesetzte Ausdrücke etwas ab. Auch sind Bedeutungsabweichungen (meist durch abweichende Prä-/Suffixe) möglich und sollten grundsätzlich als qualitätslimitierender Faktor einkalkuliert werden. Die sehr hohe Abdeckung durch sinnerhaltende Übersetzungen legt nahe, dass die Übersetzungs-Apps (mittels API) die Bewältigung von Mehrsprachigkeit in der Medizin effektiv unterstützen können.