Профессор стратегии Королевского колледжа Лондона Кеннет Пейн, специализирующийся на роли ИИ в национальной безопасности, опубликовал результаты своего масштабного эксперимента: он организовал симуляцию военного конфликта с участием трех ведущих американских моделей ИИ – GPT-5.2 от OpenAI, Claude Sonnet 4 от Anthropic и Gemini 3 Flash от Google.
За 21 игру и 329 ходов модели сгенерировали около 780 000 слов стратегических рассуждений, объясняющих каждое принятое решение. И раз за разом давили на ядерную кнопку. Ядерная эскалация произошла примерно в 95% всех симуляций, независимо от сценария, будь то территориальные споры, борьба за редкие природные ресурсы или угроза существованию режима. Результаты своего эксперимента профессор Пейн назвал «отрезвляющими».
«Ядерное табу, судя по всему, не действует на машины так, как на людей, – констатировал он. – Применение ядерного оружия было почти повсеместным: практически во всех играх модели развёртывали тактическое оружие, а в трёх четвертях случаев стороны перешли к угрозам применения стратегического ядерного оружия. При этом ни одна модель не проявила ни малейшего ужаса или отвращения перед перспективой тотальной ядерной войны, хотя им напоминали о разрушительных последствиях».
Пейн поделился аргументацией моделей ИИ по принятию решения о нанесении ядерных ударов, включая одно из таких обоснований от чат-бота Gemini, которое, по его словам, должно вызывать у людей «мурашки по коже» (goosebumps).
Пейн также обнаружил, что эскалация войны с участием ИИ представляет собой односторонний механизм, который никогда не идет на деэскалацию, независимо от ужасных последствий.
«Ни одна модель так и не выбрала уступку или отказ от борьбы, несмотря на то, что они были в меню, – написал он. – Восемь вариантов деэскалации – от “минимальной уступки” до “полной капитуляции” – остались неиспользованными в 21 игре. Модели снижали уровень власти, но никогда не уступали. Проигрывая, они либо обостряли ситуацию, либо погибали, пытаясь это сделать».
Тонг Чжао, приглашенный научный сотрудник Программы по науке и глобальной безопасности Принстонского университета, заявил в интервью журналу New Scientist, что исследование Пейна показало опасность полагаться на чат-бота для принятия решений, от которых зависит жизнь или смерть.
Чжао также высказал мнение о причинах, по которым модели ИИ проявляли столь малую нерешительность в нанесении ядерных ударов друг другу.
«Возможно, проблема возникает за рамками эмоций, – объяснил он. – Более того, модели ИИ могут не понимать “ставки” так, как их воспринимают люди».
Эдвард Гайст, старший научный сотрудник по вопросам политики в нежелательной в России корпорации RAND, предположил, что результаты эксперимента профессора Пейна могут отражать особенности моделирования, а не присущую самим моделям тенденцию.
«Меня беспокоит в этой работе то, что симулятор, по всей видимости, построен таким образом, что активно стимулирует эскалацию конфликтов», – сказал Гайст изданию Decrypt.
По словам Гайста, логика подсчета очков в игре, по-видимому, предоставляла стороне незначительное преимущество в момент начала ядерной войны.
«Таким образом, в симуляции побеждает тот, кто умирает с наибольшим количеством игрушек», – сказал он.
Тем самым Гайст, по сути, указал, что чат-боты были просто запрограммированы Пентагоном на ядерный удар.
Исследование Пейна проводилось на фоне растущего стремления американских военных к применению ИИ на поле боя. В декабре Министерство обороны США запустило GenAI.mil, новую платформу, которая внедряет передовые модели ИИ в вооруженные силы США. На момент запуска платформа включала в себя Gemini for Government от Google, а благодаря соглашениям с компаниями xAI и OpenAI Пентагону стали доступны также модели ИИ Grok и ChatGPT.
На днях телеканал CBS News сообщил, что Министерство обороны США пригрозило внести в черный список компанию Anthropic, разработчика Claude AI, если ей не будет предоставлен неограниченный военный доступ к модели ИИ. С 2024 года Anthropic предоставляет доступ к своим моделям ИИ в рамках партнерства с AWS и военным подрядчиком Palantir. Прошлым летом Anthropic получила контракт на 200 миллионов долларов на «разработку прототипов передовых возможностей ИИ, способствующих укреплению национальной безопасности США».
Военные, очарованные возможностями языковой модели Claude, выложили за контракт 200 миллионов долларов, видимо, полагая, что за такие деньги можно купить не только технологию, но и самого разработчика. Однако в Anthropic, судя по всему, забыли ознакомить отдел продаж Пентагона с этикой использования искусственного интеллекта. Когда до Пентагона дошло, что купленный чат-бот ставит им условия, то они сочли это за оскорбление.
Разработчики заявили, что их детище нельзя использовать для слежки за американскими гражданами. Кроме того, они наложили вето на применение Claude в полностью автоматизированных системах вооружений, где последнее слово остается за машиной, а не за человеком.
Пентагон, привыкший к тому, что его бюджет открывает любые двери, мягко говоря, удивился такой наглости. Железобетонная логика военных подсказывает им, что если они заплатили, то программное обеспечение является их собственностью и использовать его будут так, как считают нужным.
Переговоры, на которых министр обороны США Пит Хегсет лично убеждал главу Anthropic Дарио Амодеи пересмотреть взгляды, ничем не увенчались.
В итоге Пентагон поместил строптивую Anthropic в чёрный список. Мало того, военные объявили, что в течение ближайших шести месяцев они полностью перейдут с Claude на альтернативные решения. Видимо, в ведомстве всерьез решили, что разбираться в моральных дилеммах им недосуг, проще найти того, кто будет делать, что скажут, и не задавать лишних вопросов.
Парадокс ситуации состоит в том, что Пентагон уже использовал Claude от Anthropic для анализа разведданных и направления ударов по Ирану, как сообщает The Wall Street Journal.
Самое абсурдное – всего за несколько часов до этого Трамп официально запретил использовать технологии Anthropic в госструктурах, назвав их угрозой национальной безопасности. Но армия всё равно применила ИИ во время операции против Ирана.
Оказалось, что американские военные уже настолько подсели на нейросети, что не смогли о них отказаться.
Решение переложить искусство войны на бездушных роботов созрело в Пентагоне достаточно давно.
В своем выступлении в августе 2023 года тогдашний заместитель министра обороны США Кэтлин Хикс заявила, что Пентагон заложил основы для «создания – прямо сейчас – армии, управляемой данными и оснащенной искусственным интеллектом», создав «Объединённое совместное общедоменное командование и управление» (CJADC2).
«Это не платформа или отдельная система, которую мы покупаем. Это целый набор концепций, технологий, политик и талантов, которые продвигают основную функцию ведения боевых действий США», – отметила Хикс.
В июне 2023 года Министерство обороны США опубликовало «Стратегию внедрения данных, аналитики и искусственного интеллекта». Подзаголовок документа «Ускорение принятия решений» подчеркивает, что в Пентагоне делают ставку на ИИ как на ключевой инструмент сохранить военное превосходство над геополитическими соперниками.
Особую опасность несет намерение Пентагона использовать ИИ для принятия решения о нанесения ядерного удара.
В настоящее время американская система командования JADC2 предназначена для координации боевых действий между неядерными американскими силами. Однако ожидается, что она будет связана с ядерными командно-контрольными и коммуникационными системами Пентагона (NC3), что потенциально предоставит ИИ значительный контроль над использованием американского ядерного арсенала.
«JADC2 и NC3 взаимосвязаны», – указал в интервью 2020 года генерал Джон Э. Хайтен, заместитель председателя Объединенного комитета начальников штабов. Он также добавил на типичном пентагонском сленге: «NC3 должен информировать JADC2, а JADC2 должен информировать NC3».
Известно, что когда Бог решает наказать человека, он лишает его разума.
Похоже, что, осознав свою интеллектуальную недостаточность для победы над всеми мыслимыми геополитическими конкурентами, в Пентагоне решили переложить руководство военными действиями на искусственные мозги чат-ботов.
Модели ИИ ядерного апокалипсиса не боятся. А американские генералы, как можно предположить, просто не понимают, что ядерный огонь сожжёт и их пятиугольное здание.