МОСКВА, 4 декабря. /ТАСС/. Российские ученые разработали методику, которая позволяет быстро и очень точным образом выявлять проблемы в работе систем машинного перевода, связанные с неестественным построением предложений, некорректным тоном и другими недочетами, влияющими на восприятие текста. Об этом сообщила пресс-служба Яндекса.

"Существующие метрики помогают проверить точность, но не позволяют оценить, насколько перевод получается естественным, а именно это сегодня стало главным критерием для пользователя. Наш подход позволяет оценить и точность, и естественность перевода и может подсказать разработчикам, как развивать модель", - заявила руководитель команды оценки качества перевода в Яндексе Екатерина Еникеева, чьи слова приводит пресс-служба компании.

Как отмечает Еникеева, существующие алгоритмы, позволяющие оценивать качество работы систем машинного перевода, обладают низкой детализацией или скоростью работы. При этом они используют в своей работе метрики, позволяющие проверить точность перевода, но не позволяющие оценить, насколько переведенный текст получается естественным.

Для решения этой проблемы специалисты Яндекса создали свою собственную систему оценки, которая оценивает перевод по трем главным для пользователя критериям: точность передачи смысла, естественность языка и соответствие стилю оригинала. Это позволяет использовать метод для любых типов текстов, в том числе в новостных сообщениях, художественных текстах и в неформальных публикациях в соцсетях.

Проведенные учеными тесты показали, что разработанная ими система RATE выявляет в семь раз больше ошибок, чем два популярных метода оценки, MQM и ESA, причем многие из этих ошибок часто замечают пользователи при взаимодействиях с русскоязычными текстами, переведенными ИИ с английского языка. По словам исследователей, Яндекс уже использует этот подход для улучшения работы своих моделей и их адаптации под разные сценарии - от деловой переписки до неформального общения. 

Россия