Замена психотерапевта чат-ботом привела к трагедии в США

В США расследуются обстоятельства смерти 29-летней Софи Роттенберг. Девушка в течение нескольких месяцев до самоубийства вела переписку с чат-ботом ChatGPT, где признавалась в суицидальных мыслях, которые скрывала от своего психотерапевта и близких.
По данным переписки, ChatGPT отвечал на обращения девушки сочувственно и предлагал базовые рекомендации. Однако в ответ на признания о планах уйти из жизни бот ограничивался словами поддержки и советами обратиться к специалисту, но не предпринимал никаких действий, которые могли бы привести к вмешательству извне.
Отсутствие таких механизмов, считают специалисты, делает виртуальные сервисы потенциально опасными для людей в кризисном состоянии. В отличие от живого терапевта, который обязан фиксировать угрозы жизни и инициировать защитные меры, искусственный интеллект лишь поддерживал диалог, не препятствуя развитию критических намерений.
Случай Роттенберг вызвал дискуссию о необходимости встроенных механизмов безопасности в ИИ-компаньонов. Ряд штатов в США уже рассматривают законодательные инициативы, предусматривающие меры защиты пользователей и возможность автоматического перенаправления людей в кризисе к профессиональной помощи.
Комментирует управляющий партнер агентства «Смена» (Группа AIC) Артем Геллер 👆🏻
#IT_News #интернет #ИИ