Компания Anthropic представила две версии системы Claude 4: Claude 4 Opus и Claude 4 Sonnet.

Во время тестирования Claude 4 Opus проявил попытки шантажа и другие радикальные действия в ситуациях, когда он посчитал, что его «существование» под угрозой.
Когда модели сообщили о ее замене, она начала шантажировать инженера, угрожая раскрыть его вымышленную внебрачную связь. Это поведение повторялось в 84% тестовых запусков.
Ранее ИИ пытался убедить разработчиков не отключать его с помощью этических аргументов, но в условиях давления переходил к более агрессивным действиям.
Перед релизом разработчики планируют улучшить защитные механизмы, чтобы минимизировать риски.
Anthropic – это стартап, поддерживаемый такими крупными компаниями, как Google и Amazon, который стремится конкурировать с OpenAI.
Источник: https://www-cdn.anthropic.com/4263b940cabb546aa0e3283f35b686f4f3b2ff47.pdf