Ежедневно функцией автоматического перевода в Facebook пользуются свыше 20 миллиардов раз. Чтобы облегчить данный процесс компания разработала новую систему машинного перевода, которая способна выполнять перевод публикации с одного языка на другой напрямую, без английского в качестве промежуточного этапа.

Обычно Facebook использовала в качестве посредника английский язык — то есть предложение, написанное, к примеру, на китайском, сначала переводилось на английский, а потом уже на русский, что снижало общую точность перевода. Делалось так из-за широкой доступности и большого количества наборов данных переводов на и с английского языка.

Новая система — M2M-100, — это первая многоязычная модель машинного перевода, которая способна выполнять прямой двусторонний перевод между парами из ста языков. По метрикам BLEU новая модель превосходит англоцентричную на 10 баллов, пишет Engadget. Для обучения M2M-100 был накоплен огромный набор данных из более чем 7,5 миллиарда предложений. Тексты брались как из самого Facebook, так и всего интернета.

Фото превью / Freestocksorg / pexels.com