Новые методы сжатия языковых моделей выложили в свободный доступ программисты компании Яндекс. Их внедрение позволит бизнесу сократить вычислительные расходы на использование нейросетей в восемь раз и значит сэкономить средства. Решение Yandex Research поможет тем компаниям, которые запускают нейросети на собственных мощностях. Изображение сгенерировано нейросетью DALL•Е 3 Обычно языковая модель для своей быстрой работы требует большое количество мощных графических процессоров. Специалисты Яндекса создали решение, сокращающее необходимые вычислительные мощности. В него также включена система исправления ошибок, которые возникают при сжатии большой языковой модели. В компании утверждают, что представленное решение на 95% сохраняет качество ответов нейросети. Опубликованный код доступен на GitHub. Читайте ещё по теме: Нейросеть от Яндекса может пересказывать видеоролики на иностранном языке Нейросеть обучили распознавать лица с неудобных ракурсов Стало известно, что думают россияне об ИИ искусственном интеллекте