Яндекс создал сервис для запуска ИИ на смартфоне и ПК с экономией на мощностях

Владимир Малиновский, исследователь из научного отдела Яндекса, разработал сервис для запуска большой языковой модели (LLM) с 8 млрд параметров на обычных компьютерах и смартфонах. Это решение позволяет значительно сократить расходы на вычислительные мощности, что делает использование нейросетей более доступным для корпораций, стартапов и исследователей. Исходный код проекта был опубликован на GitHub и доступен в открытом доступе.
Подробнее https://7ooo.ru/group/2024/12/09/686-yandeks-sozdal-servis-dlya-zapuskaii-nasmartfone-ipk-sekonomiey-namoschnostyah-grss-363193271.html