Исследователи «Яндекса» разработали новый метод оценки качества машинного перевода. Разработку можно использовать для совершенствования моделей, которые уже переводят тексты достаточно точно, но делают это не всегда натурально.
Например, в неформальном диалоге модель может перевести sorry, my bad как «приношу извиненья, это моя вина» вместо «извини, ошиблась». Пользователь заметит, что нейросеть выбрала лишне официальный тон, но существующие системы оценки перевода такие ошибки пренебрегают. Новый метод помогает обращать внимание нейросетей на такие недочёты.
Новая система оценки «Яндекса» именуется RATE (Refined Assessment for Translation Evaluation - улучшенная метрика для оценки перевода). Она не используется напрямую для дообучения моделей перевода. Но RATE позволяет на шаг оценить, где именно современные модели заблуждаются и что нужно улучшить, чтобы их переводы стали безошибочнее и натуральнее для пользователя.
В отличие от иных метрик, RATE оценивает перевод по трём главным для пользователя критериям: точность передачи смысла, натуральность языка и соответствие стилю оригинала. Это позволяет использовать метод для любых типов текстов. Например, с его поддержкою в новинках можно проверить точность передачи фактов, в постах соцсетей - выявить чрезмерную формальность фраз, ну а в художественных текстах - оценить стиль и плавность речи. RATE не только отмечает саму ошибку, но также оценивает её значимость - от маленьких неточностей до мощных искажений.
«Когда мы работали с иными методами, нам не хватало детализации. MQM слишком трудный, а ESA подмечает только тяжелейщие ошибки. Эти метрики помогают проверить точность, а не позволяют оценить, насколько перевод получается натуральным. А именно это сегодня стало главным критерием для пользователя в восприятии перевода. RATE позволяет оценить и точность, и натуральность перевода, даёт более полную картину его качества и может подсказать разработчикам, как делать лучше модель для улучшения перевода», - рассказала
руководитель команды оценки качества перевода Екатерина Еникеева.
Фото: «Яндекс»