gms | German Medical Science

Hintergrund/Fragestellung: Hinter der anhaltenden Forderung nach „Knowledge Translation“ (Wissenstransfer) im Bereich von Gesundheitspolitik und -forschung [1] steht der Wunsch, verfügbares, evidenzbasiertes Wissen zugänglich zu machen und transparent in die Praxis zu implementieren. Dieses Ziel wird bereits mit Cochrane Kompakt verfolgt, welches auf die Übersetzungen von PLS in Zusammenarbeit mit Ehrenamtlichen angewiesen ist. Durch den enormen technischen Fortschritt konnten computergenerierte Übersetzungen mit der Weiterentwicklung von Machine Learning einen gewaltigen Qualitätssprung verzeichnen. In der vorgestellten Studie sollte überprüft werden, wie maschinenbasierte Übersetzungen im Vergleich zu Übersetzungen Ehrenamtlicher aus dem Gesundheitsbereich abschneiden.

Methoden: Von 352 Abstracts und Plain Language Summaries (PLS) von Cochrane Reviews waren die Übersetzungen Ehrenamtlicher sowie die finalen, veröffentlichten Übersetzungen vorfügbar. Diese wurden in ein Trainings- (N=251) und ein Testset (n=101) aufgeteilt. Als generischer Übersetzungsalgorithmus wurde DeepL herangezogen. Im Gegensatz dazu wurde SYSTRAN mit dem Trainingsset sowie einem Glossar aus 1027 Wörtern trainiert. Die Qualität jedes Satzes wurde anhand der objektiven Scores Translation Error Rate (TER), BLEU-Score und Natural Language Toolkit (NLTK) bewertet.

Ergebnisse: Die maschinengenerierten Übersetzungen wiesen deutlich niedrigere Qualitätsscores auf als die der Ehrenamtlichen. Sogar bei den Ehrenamtlichen mit den geringsten Scores waren diese Werte immer noch höher als die der maschinellen Übersetzungen. Das untrainierte DeepL erreichte höhere Scores als das trainierte SYSTRAN. Die Scores hingen sowohl bei Ehrenamtlichen als auch bei den Maschinen von der Satzlänge ab. Maschinelle Übersetzungen von PLS erreichten höhere Scores als die von wissenschaftlichen Abstracts, während die übersetzten Abstracts der Ehrenamtlichen höhere Scores aufwiesen als die der übersetzten PLS.

Schlussfolgerung: Zum aktuellen Zeitpunkt weisen maschinelle Übersetzungen eine gute Qualität auf, die den Übersetzungen Ehrenamtlicher allerdings noch nicht gleichkommt. Eine Limitation dieser Studie ist, dass die finalen Übersetzungen nicht von denen der Ehrenamtlichen unabhängig waren und somit einen verzerrten Referenzrahmen darstellen könnten.

Interessenkonflikte: KK, JM und KN arbeiten für Cochrane Deutschland.