В Новосибирском государственном университете (НГУ) разработали приложение на основе искусственного интеллекта для перевода жестового языка в текст в режиме реального времени. Изображение сгенерировано нейросетью DALL•Е 3 Приложение функционирует как на компьютерах, так и на мобильных устройствах. Разработчик Ярослав Чеканов самостоятельно изучил русский жестовый язык и собрал большой массив данных для обучения ИИ. Приложение считывает изображение с видеокамеры и переводит жесты в текст, который отображается на экране. Основным преимуществом решения является высокая скорость и точность перевода по сравнению с аналогами. В будущем планируется добавить обратный перевод — из текста и голоса в жесты. По мнению автора, этот проект имеет важное социальное значение, расширяя возможности взаимодействия для людей с ограниченными возможностями. Читать материалы по теме: Восстановит моторику верхних конечностей: в Томске создали игровую платформу для реабилитации ВТБ запустил чат-бот с анимированным сурдопереводчиком для клиентов с нарушением слуха Четкий захват: ученые ПНИПУ сделали бионические протезы рук более точными