Новый уровень слежки.

Сбербанк запатентовал бота для прослушки звонков в WhatsApp и Telegram

Сбербанк запатентовал бота на основе искусственного интеллекта, который будет защищать россиян от звонков мошенников. У него два сценария работы – перехват всех входящих звонков, и если он поступил не от мошенника, то пользователь сможет начать разговор; прослушивание беседы, и если выяснится, что звонит злоумышленник, разговор будет прерван. Бот сможет «слушать» разговоры даже в мессенджерах, уверяют разработчики.

Хитрая защита от мошенников

Сбербанк получил патент на свой новый голосовой бот со встроенным искусственным интеллектом, который умеет прослушивать абсолютно все звонки, совершаемые со смартфона. На сайте Федеральной службы по интеллектуальной собственности (ФСИС) патент зарегистрирован под номером RU2802533C1, заявка на регистрацию была подана 16 февраля 2023 г., регистрация состоялась 30 августа 2023 г., но графе «Дата начала отсчета срока действия патента» стоит 27 мая 2021 г. В числе первых внимание на факт регистрации патента обратил «Хабр».

Новый патент Сбербанка получил название Способ и система анализа голосовых вызовов на предмет выявления и предотвращения социальной инженерии с помощью активации голосового бота». В описании к нему на сайте ФСИС сказано, что запатентованная технология может обрабатывать все входящие аудиовызовы, «поступающие от стороннего абонента». Также в описании сказано, что под аудиовызовами в данном случае подразумеваются «звонки посредством телефонной связи, звонки, осуществляемые посредством мессенджеров (WhatsApp, Viber, Telegram, и др.) через сеть Интернет». Более того, сюда же Сбербанк относит и видеовызовы.

Подробнее о технологии

Согласно описанию к патенту, новое изобретение Сбербанка – это «Компьютерно-реализуемый способ анализа диалога во время аудиовызовов на предмет выявления мошеннической активности, выполняемый с помощью процессора». Сам способ анализа содержит этапы, на которых: получают с помощью устройства пользователя входящий аудиопоток, поступающий от вызывающей стороны; генерируют синтетический исходящий голосовой аудиопоток, выполняющий роль собеседника в диалоге с вызывающей стороной; осуществляют преобразование входящего аудиопотока в векторную форму; осуществляют обработку преобразованного аудиопотока с помощью первой модели машинного обучения, в ходе которой выполняют сравнение векторной формы аудиопотока с ранее сохраненными векторами, характеризующими мошенническую активность; осуществляют транскрибирование аудиопотока и его последующую обработку с помощью второй модели машинного обучения, которая выполняет анализ диалога вызывающей стороны».

В ходе анализа разговора владельца устройства с собеседником осуществляется: «семантический состав информации и паттерн ведения диалога, при этом паттерн ведения диалога включает в себя анализ слов, используемых в разговоре, анализ построения фраз, анализ следование фраз друг за другом; наличие и длительность пауз в диалоге входящего аудиопотока».

Помимо этого, этапы анализа звонка «осуществляют классификацию входящего аудиопотока на основании выполненной обработки первой и второй моделями машинного обучения, при этом генерирование исходящего аудиопотока выполняется до момента классификации входной аудиодорожки; генерируют сообщение о статусе классификации входящего аудиопотока, отображаемое на дисплее устройства пользователя.

В переводе на русский

Результатом использования нового ИИ-бота Сбербанка является «повышение эффективности и точности распознавания мошеннической активности входящих аудиовызовов за счет комбинированного анализа аудиопотока и семантики паттерна диалога». Пока это всего лишь патент, и нет данных, в каком виде Сбербанк собирается применять эту технологию. Будет ли она встроена в приложение «Сбербанк онлайн», или же банк выпустит отдельную утилиту для контроля звонков, информации пока нет – редакция CNews обратилась к представителям банка с вопросом об этом и ожидает ответа. Также пока непонятно, как бот Сбербанка получит доступ к звонкам через мессенджер, с учетом того, что они, по заверениям разработчиков, защищены сквозным шифрованием, и будет ли Сбербанк хранить у себя перехваченные диалоги.

В описании к патенту сказано, что захват аудио «может осуществляться широко известными из уровня техники средствами записи диалога, например, с помощью специализированного ПО (Voice Recorder, Cube ACR и т. п.)».

Базовых сценариев работы ИИ-бота два. В первом он будет принимать все входящие звонки с неизвестных номеров и пытаться выяснить, кто звонит – мошенник или добросовестный человек. Если все же мошенник, то пользователь получит соответствующее уведомление о пресечении попытки сделать его жертвой обмана.

Второй вариант использования бота – незримое участие в диалоге, то есть, по сути, «прослушка». Бот будет следить за ходом диалога и при выявлении опасности (например, если звонящий просит номер карты или персональные данные владельца номера) прервет разговор. Пользователь получит уведомление об опасном звонке.

Источник