Сфера Дайсона
Изображение: Wikipedia
Одно из гипотетических воплощений суперинтеллекта — мозг-матрешка. Это разновидность сферы Дайсона (астроинженерного сооружения, построенного вокруг звезды), которая использует всю энергию светила для вычислений. Квантовые технологии могут позволить создать более компактную машину.
******************************************************************************************
Согласно Нику Бострому, чтобы суперинтеллект не причинил вреда людям, можно либо ограничить его возможности, либо как-то мотивировать его преследовать цели, которые отвечают интересам человека. Однако благие намерения могут иметь фатальные последствия. Самый простой пример, суперинтеллект, которому приказано увеличить уровень счастья в мире, решит уничтожить человечество и заменит его симуляциями счастливых мыслей. Суперинтеллект также можно максимально изолировать, используя лишь самые основные каналы связи, однако даже это не даст гарантий.
Сдержать невозможно
Несмотря на то что квантовые компьютеры превосходят обычные компьютеры, они не всесильны. Любая задача, которую может решить квантовый компьютер, решаема и обычными компьютерами, пусть и за очень длительное время. Наоборот, задача, которую в принципе не может решить обычный компьютер, неразрешима и для квантового. К таким задачам относится так называемая проблема остановки: можно ли определить, закончится ли когда-нибудь выполнение определенной процедуры, если дано описание этой процедуры и входные данные. В 1936 году Алан Тьюринг доказал, что эту задачу нельзя решить с помощью алгоритмов.
Чтобы доказать, является ли та или иная задача неразрешимой, ее обычно сводят к проблеме остановки. Если удается найти для новой задачи алгоритм решения проблемы остановки (что является противоречием, поскольку проблема остановки неразрешима), значит она также не имеет решения. В 2016 году группа ученых из США, Австралии и Испании пришла к выводу, что проблема сдерживания суперинтеллекта также является неразрешимой.
Они доказали это следующим образом: проблема сдерживания состоит из двух подзадач. Первая называется проблемой вреда, или функцией R(D), которая состоит в том, чтобы узнать, нанесет ли вред человечеству выполнение программы R с входными данными D. Необходимо учитывать, что само решение проблемы вреда не должно наносить вред человеку. Значит, поиск решения должен симулировать выполнение R(D) и предсказать последствия его выполнения без влияния на мир, то есть в изоляции. Вторая подзадача — проблема контроля. Эта функция запускает R(D), когда достоверно известно, что никакого вреда не будет.
Комментарии 7