Этим летом Microsoft готовится представить в Windows 11 ИИ-функции следующего поколения, которые позволят системе сохранять контекст в любых приложениях и интерфейсах и запоминать все, что вы делаете на своем ПК, чтобы повысить производительность пользователей и эффективность поиска.

Данные возможности будут реализованы как часть нового приложения под названием «ИИ-проводник» (AI Explorer), которое, как ожидается будет представлено во время специального мероприятия Microsoft 20 мая. ИИ-Проводник будет использовать нейронный процессор нового поколения (NPU) для обработки результатов машинного обучения и генеративного ИИ локально на устройстве, т.е. с низкой задержкой.

Сообщается, что эта функция будет эксклюзивной для устройств на базе новейших чипов Qualcomm серии Snapdragon X, по крайней мере, первое время, поскольку Intel и AMD догоняют Qualcomm в гонке NPU. Также потребуется объем ОЗУ не менее 16 ГБ.

ИИ, который запоминает все ваши действия

Предполагается, что ИИ-Проводник будет работать в фоновом режиме и будет фиксировать все ваши активности на компьютере. Он будет документировать и систематизировать все действия, независимо от используемых приложений или интерфейсов, и превращать это в «воспоминания», к которым вы можете вернуться позже.

Например, вы можете вести беседу с в приложении WhatsApp для Windows, и ИИ-Проводник запишет и запомнит содержимое экрана, а затем обработает его с помощью ИИ, чтобы вы могли освежить это в памяти позже. ИИ-Проводник также сможет кратко изложить содержание бесед, электронных писем, веб-страниц и общих пользовательских интерфейсов, достаточно лишь попросить об этом во время или после события.

Обработка данных выполняется на устройстве и не требует обращения к облачным сервисам. Это важно для конфиденциальности и для производительности. Для снижения задержек AI Explorer будет использовать нейронный процессор для обработки записанного контента. Пользователи смогут исключать определенные приложения из записи процессом ИИ-Проводника или полностью его отключать.
Всеобъемлющий поиск на естественном языке

ИИ-Проводник получит интерфейс, который располагается в верхней части экрана и позволяет пользователям восстанавливать воспоминания на основе введенных критериев поиска. Поскольку AI Explorer записывает и систематизирует все ваши действия на компьютере, вы можете искать абсолютно все.

Если вы искали несколько дней назад страницы о динозаврах, но не можете вспомнить названия сайтов, то просто введите «покажи мне страницы о динозаврах, которые я просматривал несколько дней назад», и ИИ-Проводник сможет их найти.

ИИ-Проводник позволяет искать вещи, используя естественный язык. Пользователям больше не придется ограничиваться строгими поисковыми запросами, которые должны быть точными для получения результатов. Если вы ищете документ, который ваш коллега Борис отправил вам в Slack, просто наберите «найди мне файл, который Борис прислал в Slack несколько недель назад», и вы получите результаты на основе зафиксированных воспоминаний.

Вы также можете использовать базовые поисковые термины, такие как «отчет о прибылях FY24», и каждый случай, когда отчет о прибылях FY24 (и связанные запросы) появлялся на экране, будет показан в ИИ-Проводнике.
Учитывается контекст во всех приложениях

ИИ-Проводник умеет не только запоминать ваши действия на компьютере, но и анализировать то, что отображается на экране, предлагая контекстные предложения и задачи на основе видимого содержимого. Например, если вы смотрите на изображение в приложении или на веб-странице, AI Explorer может предложить такие задачи, как «удалить фон изображения с помощью Paint» — их можно вызвать одним кликом.

Вы также можете попросить ИИ-Проводник сравнить два документа, отображаемых на экране, при этом он будет использовать Microsoft Copilot для генерации сравнения. Он также может читать, понимать и помогать формулировать ответы на электронные письма или в разговорах, независимо от приложения. Эта возможность называется «Понимание экрана» (Screen Understanding). Одним из главных преимуществ AI Explorer является то, что он должен работать в любом приложении без необходимости каких-либо коррекций от разработчиков.

Вероятно, разработчики смогут сделать что-то для улучшения своих приложений для ИИ-Проводника, но изначально он должен анализировать, систематизировать и предлагать контекстные рекомендации для содержимого в приложениях без вмешательства разработчиков.
Новая эра ИИ в Windows

Инсайдерские источники описывают ИИ-Проводник как действительно полезный опыт использования ИИ, который работает для вас в фоновом режиме, улучшая рабочий процесс в Windows. С учетом этого, концепция не совсем нова. Уже существует стороннее приложение для Mac под названием Rewind.ai, которое выполняет практически то же самое.

Сам факт существования Rewind.ai доказывает, что такая концепция осуществима, и Microsoft по сути создает свою собственную версию для Windows 11, которая перекладывает необходимые ресурсы на нейронный процессор (NPU), чтобы не загружать ЦП. Ожидается, что AI Explorer станет определяющим отличием между ПК с ИИ и ПК без ИИ.

Генеральный директор Microsoft Сатья Наделла (Satya Nadella) уже говорил, что персональные вычисления вот-вот вступят в новую эру благодаря ИИ, и что именно в этом году мы увидим, как ИИ может помочь улучшить цифровые рабочие процессы людей на Windows. Новый руководитель Windows Паван Давулури (Pavan Davuluri) также ранее намекал на то, что будет представлено в этом году:

ИИ сможет координировать работу между множеством приложений, сервисов и устройств, выполняя роль агента в вашей жизни, который может соединять и сохранять контекст через весь рабочий процесс.

ИИ-Проводник не единственный новый опыт с ИИ, над которым Microsoft работает для Windows 11 в 2024 году. Microsoft также разрабатывает более продвинутые эффекты Windows Studio, новую функцию автоматических субтитров, которая может переводить языки в реальном времени, и другие локальные функции генеративного ИИ, такие как возможности локального Copilot, удаление фона в Фото, генерация изображений в Paint и др.

Больше подробностей об ИИ-Проводнике мы должны узнать на мероприятии 20 мая.
#советыдлякомпьютера