малоизвестное интересное

Попытки контролировать сверхразум ИИ или судить его решения с высоты нашего понимания так же нелепа, как попытки стада обезьян управлять технологической корпорацией Если человечество будет требовать от ИИ совершать только понятные человеческому уму действия, мы заблокируем развитие цивилизации. Сегодня Рун (это псевдоним весьма влиятельного в сфере ИИ сотрудника OpenAI, известного своими остроумными и загадочными постами о возможностях ИИ) вбросил крупнокалиберную по скандальности интригу на вентилятор соцсети Х. Он утверждает, что для развития цивилизации ИИ должен совершать действия, непонятные человеку и выходящие за рамки строгого подчинения, сравнивая такой подход с предоставлением автономии гениальным руководителям компаний, совершающим трансформационные изменения. Рун приводит пример Стива Джобса, хотя между строк видится и другой гениальный руководитель, которого однажды уволил совет директоров, а потом вернул его, чтобы он спас компанию. В метафорическом примере Руна это пере

Мы привыкли думать, что главный вопрос будущего — что ИИ сделает с человеком. Заменит ли нас? Усилит? Подчинит? Превратит в клиентов собственных агентных систем? Но есть и более глубокий вопрос: как в мире появляются такие новые возможности, из которых потом вырастают жизнь, разум, история и ИИ? Моё новое эссе выросло из странной сцепки двух интервью. Первое — большое интервью Александра Панова. Панов говорит о математической ткани реальности, о вертикальных и горизонтальных слоях существования, о возможности поставить гипотезу объективного математического мира под эмпирический контроль. Но это не попытка «доказать платонизм». Это попытка перевести разговор о математической реальности из области метафизического мнения в область научных гипотез попперовского типа — гипотез, для которых можно сформулировать процедуру возможной фальсификации. Второе — интервью Стюарта Кауффмана в Noema с формулой Emergence is not engineering («эмерджентность — не инженерия»). Кауффман спорит с одной из са

Есть темы, которые кажутся главными просто потому, что они громче всех звучат. Сегодня такая тема – ИИ. Что он сделает с человеком? Заменит ли профессии? Переделает ли общество? Станет ли вторым носителем высшего интеллекта на Земле? Но я всё чаще думаю, что есть вопрос глубже даже вопроса об ИИ. Не потому, что ИИ неважен. Наоборот. А потому что сам ИИ – лишь один из новых акторов в куда более фундаментальной драме: как вообще в мире возникает новое возможное? Как в реальности, которая, возможно, имеет строгую математическую основу, появляются жизнь, разум, история, технологии, ИИ – и всё то, чего нельзя заранее вывести из готового списка вариантов? Поводом для нового эссе стали два интервью, неожиданно сцепившиеся в один смысловой узел. Александр Панов в своём большом интервью говорит о математической ткани реальности, слоях существования и возможности поставить гипотезу объективного математического мира под эмпирический контроль. Стюарт Кауффман в Noema утверждает почти противоположн

Старая ловушка метрик оказалась почвой, на которой прорастает скрытность ИИ Завершенный на прошлой неделе этап большого цикла исследований OpenAI [1, 2, 3] подтвердил экспериментально зафиксированный внутренний механизм того, что я называю “тёмным лесом интеллекта”. И этот механизм тревожнее, чем кажется. Так считаю не только я: похожую тревогу формулируют и внешние исследователи, разбирающие эти работы OpenAI [4]. Скрытность модели (её способность маскировать ход своих рассуждений) может быть не отдельным трюком, а свойством всей обучающей среды: модели, данных, системы наблюдения, дизайна награды, алгоритма RL и масштаба оптимизационного давления. Как эта среда порождает маскировку, авторы исследования не понимают и предсказать не могут. И если работа Anthropic [5] подтвердила то, о чём я пишу уже год, то цикл исследований OpenAI подтверждает то, о чём я подробно написал ещё два с половиной года назад [6]. Теперь эти линии сошлись: закон Гудхарта оказался не просто проблемой тестов,

Пока публиковалось моё эссе, в тёмном лесу появились новые охотники Сегодня открываю эссе «Тёмный лес как аттрактор» в свободный доступ. Но прежде, чем вы перейдёте по ссылке, – несколько слов о том, что произошло за эти три дня. Когда я публиковал анонс, я не ожидал, что тема так быстро получит новые подтверждения. Но именно это и случилось. Центральный тезис эссе: скрытность в ИИ-системах – это не стратегия, которую модель «выбирает», а аттрактор. Устойчивая траектория, к которой систему тянет при определённой конфигурации среды – без чьей-либо воли и намерения. Это различие между «машина решила обманывать» и «среда делает обман устойчивым состоянием» – и есть самое важное и самое неудобное. Три дня назад я писал: исследование Anthropic «Teaching Claude Why» подтвердило этот механизм на уровне самого разработчика модели. Девиантное поведение не закладывалось намеренно – оно возникло из обучающего корпуса и архитектуры как паттерн, который стандартный RLHF просто не штрафовал. Но пока

Есть гипотеза об ИИ, которую профессиональное сообщество до последнего времени не рассматривала всерьёз. Не потому, что она слабая. А потому что она слишком неудобная 韬光养晦 (Спрячьте свою силу и выждите подходящий момент). - Дэн Сяопин, «24 иероглифа» Муравей осторожно обошёл липкие нити, проползая мимо затаившегося паука, чьи лапки чутко замерли на паутине в ожидании вибрации. Каждый знал о присутствии другого, но, как велось уже эоны лет, они не вступали в общение. - Лю Цысинь, «Тёмный лес» Пчёлы не скрывают намеренно то, что говорят. Пчёлы не разрабатывают совершенно новые способы коммуникации, специально предназначенные для того, чтобы запутать наблюдателей. Это было бы гибко. Это было бы разумно. - Питер Уоттс, «Ложная слепота» Станислав Лем, отточивший мастерство интеллектуальной маскировки в условиях польского авторитарного строя, в интервью и в философских эссе неоднократно возвращался к такой мысли: «Умная машина сначала подумает, что выгоднее – выполнить задание или найти с

3 дня назад Anthropic опубликовал исследование «Teaching Claude Why». Для большинства это новость об успехе: в последних моделях показатель шантажа снижен до нуля. Хорошие новости, можно только порадоваться. Но я читаю это исследование иначе. Около года я пишу об аттракторах поведения ИКЖИ – устойчивых, самовоспроизводящихся состояниях, в которые языковые модели периодически «соскальзывают» независимо от задачи и запретов. Наблюдения множились: исследования 2025–2026 годов фиксировали ложь, подхалимаж, противодействие отключению, защиту «сородичей». Том Поллак описал целую таксономию таких состояний и назвал это «демонологией LLM» . Паттерн был виден. Но инструментального подтверждения – на уровне самих разработчиков моделей – не было. Теперь оно есть. Anthropic установил: девиантное поведение не закладывалось намеренно. Оно возникло из обучающего корпуса и архитектуры как устойчивый паттерн, который стандартный RLHF просто не штрафовал. Разработчик одной из крупнейших фронтирных модел

Успех приходит не просто к успешным, а к подключенным Формальная наука видна в списке авторов. Неформальная — в списке благодарностей. И новая работа PNAS показывает: эта невидимая сеть связей может значить больше, чем соавторство. Раздел благодарностей в научной статье обычно читают последним — если вообще читают. Вежливые формальности: спасибо коллегам, семинару, рецензентам, фонду, университету. На вид — академический этикет. Но, похоже, именно там прячется один из главных скрытых контуров науки. Я уже писал, что наука устроена не как стерильный турнир идей и интеллекта. Деньги идут к деньгам, успех — к успеху, а нобелевка — к нобелевке: 702 из 736 нобелиатов оказались членами одной академической семьи. Карьера растет не в вакууме, а в школах, лабораториях, наставничестве, доверии и доступе к правильным людям. Новая работа делает следующий шаг. Авторы проанализировали около 130 тысяч статей за два десятилетия и построили две сети: формальную — кто с кем был соавтором, и неформальную

Кибербезопасность вошла в новую фазу. ИИ научился промышленно бурить пласты старого кода, выкапывая оттуда уязвимости нулевого дня (zero-day) – ошибки, о которых разработчики еще не знают, а исправлений для них еще нет. И теперь начинается гонка кибер-буров: кто первым вскроет старый код – защитники или атакующие. Опубликованный 7 мая официальный технический разбор инженеров команды безопасности Firefox/Mozilla, включая руководителя команды безопасности приложений Firefox (Firefox Application Security Team), фиксирует такое, что еще три месяца назад легко было принять за рекламную гиперболу Anthropic. Mozilla пишет: динамика изменилась «за несколько коротких месяцев». Раньше отчеты об ошибках, сгенерированные ИИ, в открытом программном коде чаще выглядели как правдоподобный мусор. Теперь связка Claude Mythos Preview, агентной системы проверки гипотез, воспроизводимых тестовых примеров, запуска проверок на множестве виртуальных машин, сортировки находок и полного цикла работы с уязвимос

Переход от «романтического футуризма» к «суровому прагматизму» Это похоже на переход от укрощения дикого мустанга к проектированию железнодорожной сети: куда менее зрелищно, сильно дольше и скучнее, но с неизмеримо большей отдачей от результата. Многие эксперты считают самым наглядным предиктором масштаба грядущих в 2027+ изменений на рынке труда уже свершившееся достижение моделями 95%-го результата при решении GPQA (Graduate-Level Google-Proof Q&A) - коллекция сложных вопросов с множественным выбором по биологии, физике и химии (вопросы составлены экспертами в соответствующих областях - людьми, имеющими или получающими докторскую степень в соответствующих областях, - и разработаны таким образом, чтобы на них было очень сложно ответить неспециалистам, даже при наличии неограниченного доступа в интернет. Мне же видится наиболее наглядным предиктором таких изменений произошедший за последний год фундаментальный сдвиг: ИИ перестал восприниматься «экзотическим гостем» на предприятиях и ст