ИИ от Google научили быть "крайне агрессивным" при стрессовых ситуациях

В исследованиях, проводившихся в конце прошлого года, ИИ от DeepMind обрел и продемонстрировал возможность своего обучения независимо от того, что заложено в его память, а еще победил лучших в мире игроков в логическую игру го. Помимо этого, он совершенствовал свои навыки в чтении по губам и имитировании человеческого голоса.
В рамках же последних испытаний системы исследователи проверяли «ее стремление» к сотрудничеству. Тесты показали, когда ИИ DeepMind «чувствует», что вот-вот проиграет, то для избегания проигрыша он начинает выбирать новые и «крайне агрессивные» стратегии. Команда Google провела с ИИ 40 миллионов сессий в простой компьютерной игре Gathering, где от игрока требовалось собрать как можно больше нужных фруктов. ИИ DeepMind управлял двумя «игроками-агентами» (синим кубиком и красным кубиком). Инженеры Google дали системе задачу устроить соревнование между «агентами» и собрать столько виртуальных яблок (зеленых квадратиков), сколько получится.
До поры до времени, пока «агенты» могли без проблем собирать фрукты, имеющиеся в большом количестве, все шло гладко. Но как только запас яблок сокращался, поведение «агентов» становилось «агрессивным». Они стали активнее использовать средство (лазерный луч), которое помогало выбить противника за игровой экран и затем самому собрать все яблоки.
Что интересно, за выбивание противника с поля с помощью лазерного луча никакой дополнительной награды не предлагалось. Выбитый противник лишь некоторое время находится за пределами экрана, в то время как более успешный противник имел возможность беспрепятственно собрать побольше виртуальных яблок.
Если бы «агенты» не использовали лазерные лучи, то теоретически количество собранных ими яблок было бы одинаковым. Это в принципе и происходило, когда в качестве «агентов» использовались более низкоуровневые и «менее интеллектуальные» варианты DeepMind. Более агрессивное поведение, вредительство и жадность стали проявляться только тогда, когда команда Google стала использовать более и более сложные формы DeepMind.
#технологии