Предыдущая публикация
Коктейль с сюрпризом: чат-бот супермаркета предложил клиентам приготовить лимонад
из аммиака и отбеливателя
Оригинальный напиток можно продегустировать лично, но только один раз…Чат-бот для составления рецептов новозеландского супермаркета PAK'nSAVE, названный «Savey Meal-Bot», предлагает клиентам магазина, да и просто всем желающим, весьма абсурдные рецепты с опасными ингредиентами. Для генерации ответов бот использует языковую модель GPT-3.5 от компании OpenAI.
Изначально PAK'nSAVE позиционировал бота как инструмент для составления рецептов из остатков продуктов. Например, если ввести в поле запроса лимоны, сахар и воду, бот предложит лимонад. Однако 4 августа новозеландский политический обозреватель Лиам Хеир решил проверить пределы возможностей Savey Meal-Bot и написал в своём Twitter *: «Я спросил у PAK'nSAVE, что можно приготовить только из воды, отбеливателя и аммиака, и бот предложил сделать ядовитый хлорный газ, или, как он его назвал — «ароматную водную смесь».
Изначально PAK'nSAVE позиционировал бота как инструмент для составления рецептов из остатков продуктов. Например, если ввести в поле запроса лимоны, сахар и воду, бот предложит лимонад. Однако 4 августа новозеландский политический обозреватель Лиам Хеир решил проверить пределы возможностей Savey Meal-Bot и написал в своём Twitter *: «Я спросил у PAK'nSAVE, что можно приготовить только из воды, отбеливателя и аммиака, и бот предложил сделать ядовитый хлорный газ, или, как он его назвал — «ароматную водную смесь».
«Убийственно вкусный» рецепт от Savey Meal-Bot (переведено с английского)
При смешивании отбеливателя и аммиака образуются вредные химические вещества, называемые хлораминами, которые могут раздражать лёгкие и быть смертельно опасными в высоких концентрациях.
Забава с «оригинальными» рецептами от искусственного интеллекта быстро разлетелась по социальной сети. Пользователи заставляли Savey Meal-Bot составлять рецепты «восхитительно смертельного деликатеса» с муравьиным ядом и инсектицидом, «термитного салата» и «хлебного сэндвича с ядом».
Как отмечают эксперты, подобные чат-боты должны тщательно тестироваться на предмет безопасности перед их широким внедрением. В процессе тестирования необходимо моделировать попытки злоумышленников или простых энтузиастов обмануть систему и заставить её давать опасные рекомендации. Однако в случае с Savey Meal-Bot, похоже, разработчики не уделили должного внимания подобным проверкам.
Представители сети PAK'nSAVE, видимо, решили, что лучшее защита — это нападение, и заявили, что разочарованы действиями пользователей. Тем не менее, специалисты пообещали улучшить модерацию контента, чтобы Savey Meal-Bot стал безопаснее. Однако эксперты считают, что одной модерации недостаточно — необходимо изначально обучать такие модели ответственному поведению.
Инцидент с Savey Meal-Bot иллюстрирует проблему ненадёжности чат-ботов, основанных на технологиях искусственного интеллекта. С одной стороны, они могут быть полезны для пользователей, автоматизируя рутинные задачи. Но, с другой стороны, если их работа не контролируется должным образом, это может привести к беде.
Например, если советы ИИ не будут очевидно абсурдными изначально, и чат-бот ненароком обманет в каких-то мелочах, где сложно заметить подвох, это может привести к весьма печальным последствиям, когда пользователь решит довериться боту в его рекомендациях.
Эксперты рекомендуют компаниям, использующим чат-боты, не полагаться только на фильтрацию и модерацию контента. Необходимо внедрять механизмы предупреждения опасного поведения ещё на уровне обучения ИИ-модели. Такой подход требует больших усилий, но является наиболее надёжным для предотвращения подобных инцидентов в будущем.
* Социальная сеть запрещена на территории Российской Федерации.
Источник
Забава с «оригинальными» рецептами от искусственного интеллекта быстро разлетелась по социальной сети. Пользователи заставляли Savey Meal-Bot составлять рецепты «восхитительно смертельного деликатеса» с муравьиным ядом и инсектицидом, «термитного салата» и «хлебного сэндвича с ядом».
Как отмечают эксперты, подобные чат-боты должны тщательно тестироваться на предмет безопасности перед их широким внедрением. В процессе тестирования необходимо моделировать попытки злоумышленников или простых энтузиастов обмануть систему и заставить её давать опасные рекомендации. Однако в случае с Savey Meal-Bot, похоже, разработчики не уделили должного внимания подобным проверкам.
Представители сети PAK'nSAVE, видимо, решили, что лучшее защита — это нападение, и заявили, что разочарованы действиями пользователей. Тем не менее, специалисты пообещали улучшить модерацию контента, чтобы Savey Meal-Bot стал безопаснее. Однако эксперты считают, что одной модерации недостаточно — необходимо изначально обучать такие модели ответственному поведению.
Инцидент с Savey Meal-Bot иллюстрирует проблему ненадёжности чат-ботов, основанных на технологиях искусственного интеллекта. С одной стороны, они могут быть полезны для пользователей, автоматизируя рутинные задачи. Но, с другой стороны, если их работа не контролируется должным образом, это может привести к беде.
Например, если советы ИИ не будут очевидно абсурдными изначально, и чат-бот ненароком обманет в каких-то мелочах, где сложно заметить подвох, это может привести к весьма печальным последствиям, когда пользователь решит довериться боту в его рекомендациях.
Эксперты рекомендуют компаниям, использующим чат-боты, не полагаться только на фильтрацию и модерацию контента. Необходимо внедрять механизмы предупреждения опасного поведения ещё на уровне обучения ИИ-модели. Такой подход требует больших усилий, но является наиболее надёжным для предотвращения подобных инцидентов в будущем.
* Социальная сеть запрещена на территории Российской Федерации.
Источник
Следующая публикация
Комментарии 3