Зачем нужен искусственный интеллект в смартфонах и что он умеет

Развитие систем искусственного интеллекта стало трендом в последние несколько лет. Особенно четко это прослеживается на примере смартфонов — ИИ используется для оптимизации множества задач. Давайте посмотрим, где именно он применяется и какие перспективы нас ждут в будущем.
Как работает и где используется ИИ
Чтобы понять, что такое искусственный интеллект в смартфоне, сперва нужно разобрать понятие нейросети. По сути, это упрощенная модель мозга человека. Наш мозг состоит из 90 миллиардов нейронов, то есть клеток, которые обрабатывают и передают электрический сигнал. Они связываются между собой с помощью так называемых синапсов. Только в случае нейросети, нейронами служат специальные ячейки, которым можно присваивать числовые значения.
Например, ячейке a было присвоено значение 0,4. Она передает его соседним «нейронам» — d, e, f. Стрелочки (синапсы) заданным образом изменяют это значение. Связь «a—d» увеличивает значение вдвое, поэтому по итогу получается 0,8. Какие бы сигналы не проходили через этот синапс, они всегда будут умножаться на два.
В реальном мозге происходит точно также — электрический сигнал, следуя от одного нейрона к другому, всегда будет преобразовываться одинаково. Именно поэтому нам бывает сложно побороть устойчивую привычку или адаптироваться к нестандартной ситуации. Например, читая эту статью, вы уже начинаете скучать: сигнал постепенно угасает, зато другие импульсы (посмотреть смешное видео с котиками) наоборот усиливаются. Если вы все-таки заинтересовались, каким образом обучаются нейросети, рекомендуем почитать специализированный материал. А мы перейдем к практической реализации.
Для распознавания объектов сейчас применяют так называемые сверточные нейросети. Именно с помощью них смартфон понимает, что изображено на картинке. Приложение камеры в реальном времени идентифицирует предмет или сцену (животное, человек, пейзаж) и выставляет оптимальные настройки — оптимизирует цветность, яркость и контрастность, экспозицию.
По такому же принципу работает разблокировка по лицу в большинстве смартфонов. Фронтальная камера делает снимок, а алгоритмы сравнивают его с заданным изображением по ключевым точкам. Нейросеть всегда выдает вероятность, а не точный результат: если она большая, то телефон разблокируется. Алгоритмы машинного обучения помогают, если вы надели очки или отрастили бороду. Не узнав вас, система предложит ввести пароль вручную, а затем ИИ вносит корректировки в модель, адаптируясь к изменениям внешности.
В смартфонах дорогого сегмента применяется другой способ. Например, в iPhone 12 специальная камера True Depth проецирует несколько десятков тысяч точек на лицо и строит трехмерную модель. При попытке разблокировки, система сравнивает модель лица с исходной. Этот метод более надежен — мошеннику не удастся обмануть систему, поднеся к камере фотографию лица.
По этому же принципу работает распознавание речи. Отличие лишь в том, что Google Assistant и Siri от Apple отправляют запросы на облачные серверы, где они обрабатываются гораздо быстрее, чем на вашем телефоне.
Нейросети голосовых помощников обучают при помощи огромных массивов информации: начиная от классической литературы и заканчивая живыми текстами из интернета.
Технологии обучения используют и машинные переводчики. Например, Google Translate при помощи рекуррентных двунаправленных нейронных сетей умеет переводить предложения целиком, используя контекст. Раньше это происходило пословно, поэтому в сложных смысловых конструкциях качество перевода страдало.
Также доступен мгновенный перевод при помощи камеры, но для этого нужен интернет, поскольку данные также обрабатываются на удаленном сервере.
Алгоритмы ИИ в современных смартфонах применяются для множества задач. Помимо тех, что мы упомянули, они используются, например, для отслеживания движения объектов в реальном времени (распознавание жестов и эмоций, помощь при фокусировке видео), настройки звука с учетом окружающей среды, улучшения фильтров дополненной реальности в приложениях с поддержкой AR, в системах навигации (чтобы проложить маршрут без пробок) и многих других случаях.
Железная составляющая
Искусственный интеллект также применяется для оптимизации работы самого смартфона. В процессоре обычно используется 6–8 ядер, два из которых — высокопроизводительные, а остальные — энергоэффективные и работают на более низкой частоте.
Процессор Snapdragon 730 имеет два производительных ядра с частотой 2,2 Ггц и шесть энергоэффективных, работающих на 1,8 ГГц
Нейросеть анализирует привычки пользователя, чтобы обеспечить оптимальное соотношение между расходом батареи и производительностью. Смартфон определяет, какие приложения используются чаще и в какие промежутки времени, затем они автоматически подгружаются в оперативную память.
При прослушивании музыки или чтении веб-страниц не требуется много ресурсов, поэтому задействуется лишь пара-тройка низкочастотных ядер. А для игр и ресурсоемких программ периодически включаются производительные ядра.
Чтобы ускорить обработку вычислений для искусственного интеллекта, производители смартфонов стали выделять под эти задачи отдельный вычислительный блок. Первым процессором с NPU (нейронным модулем) стал Kirin 970 от Huawei, выпущенный в конце 2017 года. Этот чип распараллеливает огромное количество мелких операций, которые выполняются одновременно. Центральный процессор для этого не годится — у него всего 8 ядер. Графический ускоритель содержит тысячи ядер, но потребляет слишком много энергии.
Затем подтянулись и другие гиганты индустрии. Apple применила в iPhone X процессор A11 Bionic, встроив в него Neural Engine, который способен выполнять до 600 миллиардов операций в секунду.
Компания Qualcomm реализовала аппаратную поддержку алгоритмов машинного обучения в процессорах, начиная со Snapdragon 660.
Благодаря ему, снимки HDR+ в фирменном приложении камеры обрабатываются в 5 раз быстрее, чем при использовании обычного ЦП. Телефон делает до 16 фото с разной экспозицией за короткий промежуток времени, а потом объединяет их, используя нейросеть.
На текущий момент самым быстрым процессором в мире является Snapdragon 888. На его презентации большое внимание уделили возможностям нового нейронного ускорителя Hexagon 780. Qualcomm заявляет, что его производительность настолько высока, что ИИ «в режиме реального времени может стереть конкретного человека из видео или вставить кого-то другого».
Перспективы будущего
Прогресс движется к тому, что на смартфонах скоро можно будет запускать даже глубокое машинное обучение (так называемое Deep Learning). Говоря проще, увеличится количество слоев нейронов — сети смогут выполнять более сложные задачи.
Например, фронтальная камера будет постоянно анализировать лицо владельца, чтобы понять его физическое состояние. Повысится точность распознавания речи, при этом NPU будет лучше понимать конкретные намерения пользователя. Распространение сетей 5G позволить быстрее взаимодействовать с облачными серверами.