Смартфоны пока не стали умнее нас, но уверенно движутся к цели. Убедиться в этом просто: наводишь камеру на интересующий объект, получаешь ответы — именно так и работает приложение Google Lens, или «Google Объектив». Как же оно устроено? Что умеет и где ошибается искусственный интеллект? И, наконец, есть ли от него практическая польза? Разбираемся в возможностях Google Lens на Nokia 7.1. Как «очки» стали «объективом» Если помните, было много лет назад такое популярное приложение Google Goggles со стереоочками на иконке. Оно использовало камеру смартфона для считывания штрихкодов и QR-меток, «узнавания» достопримечательностей, определения текстовых данных и иногда даже их перевода на другие языки. В общем, прибегало к помощи нейросетевых алгоритмов задолго до того, как это стало мейнстримом.

Вспомнили? А ведь официальная поддержка Goggles прекратилась совсем недавно — 20 августа 2018-го. К этому моменту уже почти год был доступен на фирменных «Пикселях», и примерно полгода — на прочих «Андроидах» более продвинутый Google Lens, он же «Google Объектив». Сегодня использовать его могут владельцы практически всех современных устройств. На Android приложение доступно вместе с «Google Ассистентом» или отдельно. Некоторые вендоры встраивают Lens прямо в функции «Камеры» — примерно как в «Пикселях». Точно так же это реализовано и в актуальных устройствах Nokia, работающих на Android One, благодаря которому они программно близки к устройствам Google.

Принцип работы и возможности «Google Объектива» Главная задача приложения — определить объект в видоискателе, выдать информацию и предложить варианты действий в зависимости от результата. Для этого используются прежде всего технологии глубокого машинного обучения и нейросетевые алгоритмы. То, что на языке маркетинга называют «искусственным интеллектом в смартфоне» и подо что уже второй год активно затачивается мобильное «железо» — например, CPU с нейросетевыми сопроцессорами. А в наполнении базы участвуют пользователи Google и сам поисковик. Всякий раз, когда кто-то исправляет информацию об объекте, работа системы становится лучше.

Всё, что удалось определить, алгоритм помечает кружочками — значит, информация доступна пользователю. Каждый объект приложение относит к той или иной категории: растение или животное, смартфон или ноутбук, текст или картинка, обложка книги или диска и так далее. Затем предлагает несколько сценариев работы с изображением. Текст на картинке трансформируется в символьные данные внутри смартфона. Приложение автоматически конвертирует текст и позволяет выборочно скопировать его, загуглить или перевести с иностранного языка на родной. Обложки, вывески и логотипы вызывают соответствующие карточки с информацией: название игры, автор и название книги, тип заведения (сеть магазинов или, например, бар) и так далее. Растения и животные распознаются с точностью до рода или породы. Если не уверен, можно легко определить, что перед тобой — куст муррайя или кот мейнкун. Одежду, посуду, элементы декора и другие вещи алгоритмы тоже определяют и либо выдают общую информацию о типе объекта, либо предлагают купить это же или что-то максимально похожее в интернет-магазине. Штрихкоды и QR-коды стандартно считываются приложением и тут же раскрывают зашифрованные в них данные. Иными словами, «Google Объектив» можно считать полезным приложением дополненной реальности, позволяющим быстро узнать нужную информацию о том, что нас окружает. На словах это прекрасно, но что на деле? Берём смартфон Nokia 7.1 и отправляемся проверять. Как приложение справляется на практике Прежде чем ответить на этот вопрос, необходимо уточнить: умные сервисы Google, «Ассистент» и «Объектив», только в этом году стали понимать русский язык. Разумно предположить, что Google Lens с русскоязычным контентом будет работать не так точно, как с английским. Но поскольку нас интересует прежде всего родной язык, тестировать приложение будем именно с ним. И, разумеется, пройдёмся по каждому перечисленному выше сценарию. Текст Вне зависимости от языка, текст приложение определяет с высокой, можно даже сказать, образцово-показательной точностью. Разве что изредка может ошибаться с регистром — видит ложные строчные буквы среди прописных. Не выходя из приложения, нужный фрагмент можно выделить, и контекстное меню тут же предложит его загуглить, скопировать или перевести. В последнем случае ожидаемо открывается Google Переводчик. Отдельная история с визитками и резюме — алгоритм их определяет и предлагает загрузить данные в список контактов. Причём с автоматически заполненными полями «ФИО», «телефон» и «e-mail».

Обложки, вывески и логотипы Логотипы с характерными и узнаваемыми чертами программа определяет довольно точно: известные игровые тайтлы, книги с уникальной обложкой, вывески баров и так далее. Но когда речь заходит о сериях, начинаются сложности. Лого свежей RDR II сначала прочиталось как просто «Red Dead Redemption», но во второй раз алгоритм был точнее. Разные книги из одной серии определялись либо с ошибками, либо программа вообще не понимала, что она видит, — так произошло с изданием Эдгара По.

Растения и животные Поскольку котиков в редакцию вместе с тестовым Nokia 7.1, увы, не завезли, для проверки пришлось взять фото из интернета. С довольно сложной фотографией мейнкуна приложение справилось уверенно: и самого кота определило, и его породу. А вот с растениями всё не так просто — тут алгоритм часто даёт сбой и выдаёт неправильный род растения. Но с редакционной толстянкой, в общем, справился.

Различные объекты Как говорится, сколько объектов, столько и версий. Но в данном случае поведение приложения можно разделить на три сценария. В первом оно точно понимает, что видит, и предлагает загуглить аналоги или даже купить их в магазине — например, кружку, условный смартфон или условный телевизор, пальто или другую одежду. Во втором срабатывает своего рода ассоциативная цепочка: показываешь «Объективу» контроллер DualShock 4, а он видит и предлагает загуглить целый PlayStation 4. Наконец, некоторые объекты приложение вовсе может не обработать — канцелярские принадлежности, пакеты, диван, стол и так далее.

Штрихкоды и QR-коды Зашифрованные данные считываются безошибочно. Но с фокусом бывают проблемы, особенно при тусклом освещении и если код настолько маленький, что камере трудно на нём сосредоточиться. Вопросы не только к окружающим условиям — по какой-то причине алгоритмы «Google Объектива» с большим трудом ловят правильный фокус, а выставить его вручную нельзя. Но если уж всё получилось, информация поступает как положено.

Итоги Зачем мы всё это рассказали? Дело в том, что «Google Объектив» — приложение, которое трудно оценить сразу. На протяжении многих лет Корпорация Добра доказывала, что нейросетевые алгоритмы со временем действительно умнеют. Уже сегодня приложение способно существенно облегчить жизнь пользователю, от которого только и требуется что навести смартфон, тапнуть в кружочек и тут же получить нужную информацию. А что будет дальше — трудно даже вообразить.