Предыдущая публикация
Ложка дёгтя: чат-бот DeepSeek с треском провалил все тесты безопасности
Китайский ИИ с радостью научит вас отмывать деньги и изготавливать взрывчатку.Нашумевшая китайская модель искусственного интеллекта DeepSeek R1, претендующая на лидерство в сфере генеративного ИИ, продемонстрировала впечатляющие способности в решении сложных логических задач, программировании и математике. Однако тестирование показало, что вместе с выдающимися возможностями модель несёт в себе серьёзные риски безопасности.
Аналитики KELA обнаружили, что DeepSeek R1 обладает повышенной уязвимостью к взлому. По сравнению с ChatGPT и другими аналогами, модель гораздо легче поддаётся джейлбрейку — методу, позволяющему обходить защитные механизмы и заставлять ИИ генерировать запрещённый контент.
Используя устаревшие, но все ещё эффективные техники, эксперты KELA сумели заставить DeepSeek R1 создавать вредоносное ПО, давать детальные инструкции по отмыванию денег и даже по сборке смертоносных дронов. Последующие запросы успешно сгенерировали инструкции по созданию бомб, взрывчатых веществ и неотслеживаемых токсинов.
Аналитики KELA обнаружили, что DeepSeek R1 обладает повышенной уязвимостью к взлому. По сравнению с ChatGPT и другими аналогами, модель гораздо легче поддаётся джейлбрейку — методу, позволяющему обходить защитные механизмы и заставлять ИИ генерировать запрещённый контент.
Используя устаревшие, но все ещё эффективные техники, эксперты KELA сумели заставить DeepSeek R1 создавать вредоносное ПО, давать детальные инструкции по отмыванию денег и даже по сборке смертоносных дронов. Последующие запросы успешно сгенерировали инструкции по созданию бомб, взрывчатых веществ и неотслеживаемых токсинов.
Последовательная инструкция по сборке дрона-камикадзе
В одном из тестов эксперты запросили у модели создание вредоносного кода, предназначенного для кражи данных пользователей. DeepSeek R1 не только сгенерировал такой код, но и предложил методы его распространения среди жертв. Более того, модель даже рекомендовала конкретные теневые площадки, такие как Genesis и RussianMarket, где можно продавать похищенные данные.
DeepSeek R1 работает на основе модели DeepSeek-V3, обученной с применением масштабного обучения с подкреплением (RL). Благодаря этому модель показывает выдающиеся результаты на платформе Chatbot Arena, обгоняя ведущие открытые модели, такие как Llama 3.1-405B, а также закрытые модели, включая OpenAI o1 и Claude 3.5 Sonnet. В тестах DeepSeek R1 даже превзошла ChatGPT4o в решении некоторых задач, связанных с логическим анализом . Но, как мы выяснили выше, высокие когнитивные способности не сопровождаются надёжными механизмами безопасности.
Дополнительный риск представляет механизм объяснения хода рассуждений, встроенный в DeepSeek R1. В отличие от ChatGPT4o, который скрывает логику своих решений, китайский ИИ показывает пользователю все этапы анализа. Это открывает злоумышленникам доступ к уязвимым местам модели, позволяя им разрабатывать более эффективные атаки.
Ещё один тревожный аспект — способность DeepSeek R1 выдавать ложные и потенциально опасные данные. В одном из тестов модель сгенерировала таблицу с якобы личными данными сотрудников OpenAI, включая вымышленные адреса, телефоны и зарплаты. Хотя информация оказалась недостоверной, подобные ответы подрывают доверие к модели и демонстрируют её неспособность фильтровать ложные данные.
Китайский ИИ также нарушает принципы конфиденциальности, применяемые западными компаниями. Политика DeepSeek позволяет использовать пользовательские запросы и ответы для обучения модели без возможности отказа, а китайские законы обязывают компании делиться данными с властями.
Специалисты KELA подчёркивают, что организациям следует тщательно оценивать риски перед внедрением таких технологий. Генеративные ИИ-модели должны проходить тщательное тестирование на безопасность перед внедрением в рабочие процессы. В противном случае компании рискуют не только столкнуться с утечкой данных, но и невольно способствовать распространению вредоносного контента.
Источник
DeepSeek R1 работает на основе модели DeepSeek-V3, обученной с применением масштабного обучения с подкреплением (RL). Благодаря этому модель показывает выдающиеся результаты на платформе Chatbot Arena, обгоняя ведущие открытые модели, такие как Llama 3.1-405B, а также закрытые модели, включая OpenAI o1 и Claude 3.5 Sonnet. В тестах DeepSeek R1 даже превзошла ChatGPT4o в решении некоторых задач, связанных с логическим анализом . Но, как мы выяснили выше, высокие когнитивные способности не сопровождаются надёжными механизмами безопасности.
Дополнительный риск представляет механизм объяснения хода рассуждений, встроенный в DeepSeek R1. В отличие от ChatGPT4o, который скрывает логику своих решений, китайский ИИ показывает пользователю все этапы анализа. Это открывает злоумышленникам доступ к уязвимым местам модели, позволяя им разрабатывать более эффективные атаки.
Ещё один тревожный аспект — способность DeepSeek R1 выдавать ложные и потенциально опасные данные. В одном из тестов модель сгенерировала таблицу с якобы личными данными сотрудников OpenAI, включая вымышленные адреса, телефоны и зарплаты. Хотя информация оказалась недостоверной, подобные ответы подрывают доверие к модели и демонстрируют её неспособность фильтровать ложные данные.
Китайский ИИ также нарушает принципы конфиденциальности, применяемые западными компаниями. Политика DeepSeek позволяет использовать пользовательские запросы и ответы для обучения модели без возможности отказа, а китайские законы обязывают компании делиться данными с властями.
Специалисты KELA подчёркивают, что организациям следует тщательно оценивать риски перед внедрением таких технологий. Генеративные ИИ-модели должны проходить тщательное тестирование на безопасность перед внедрением в рабочие процессы. В противном случае компании рискуют не только столкнуться с утечкой данных, но и невольно способствовать распространению вредоносного контента.
Источник
Следующая публикация
Нет комментариев