Facebook усовершенствовала и открыла свою NLP-библиотеку LASER.

Обученная с её помощью нейросеть сможет работать с 93 языками, включая редкие, по которым сложно найти большой корпус данных для тренировки. (Тем не менее, поклонникам клингонского, синдарина и на’ви придётся подождать.)
Почему это важно?
Потому что LASER — первый инструмент, который умеет представлять предложения на разных языках в рамках единой модели. Это ускоряет и упрощает перевод. Обычно для работы с каждым языком строится отдельная специфическая модель.
Подробнее в блоге Facebook: https://tprg.ru/LASER