Удары по невинным: чем чревато поспешное применение ИИ в военной сфере

США могли ударить по школе для девочек в иранском Минабе из-за ошибки искусственного интеллекта. Как пишет Washington Post, американские военные, возможно, слишком положились на ИИ и не проверили цели , которые он выбрал для атаки. Цена этой ошибки - жизни более 170 человек, большинство из которых дети. Газета провела собственное расследование удара по начальной школе для девочек. По данным расследования, в день начала операции «Эпическая ярость», название которой лично выбирал Дональд Трамп, американские военные применяли системы ИИ для анализа разведданных и определения целей. По словам американского чиновника, удар, вероятно, был вызван ошибкой разведки в определении местоположения цели. Раньше школа была частью иранской военно-морской базы. По словам пяти источников газеты, как израильские, так и американские военные используют платформу Maven для сбора разведывательной информации. ИИ предлагал цели, их точные координаты и местоположения и, вероятно, использовал устаревшие данные, в которых здание все еще находилось в составе военной базы. «Люди всегда будут принимать окончательные решения о том, где и когда наносить удар. Однако ИИ позволяет сократить время принятия этих решений, которые занимали раньше часы, а иногда даже и дни, до нескольких секунд», - заявил глава Центрального командования США Брэд Купер. По мнению экспертов, нести ответственность в случае ошибок искусственного интеллекта должен тот, кто проверяет цели, предложенные нейросетью. «Это будет ответственность на том, кто этот инструмент применял. Скорее тот, кто по долгу службы должен был верифицировать список целей, которые предложил ИИ. Он может порекомендовать что-то, у нас нигде не разрешена функция принятия решений, в нашей стране точно это запрещено», - сказал доцент факультета программной инженерии и компьютерной техники ИТМО Александр Кугаевских. Также американские военные используют нейросеть, которая частично работает на основе искусственного интеллекта Claude, от компании Anthropic. Пентагон потребовал от генерального директора ИИ-стартапа предоставить неограниченный доступ к модели. Тот отказался снять защитные механизмы, препятствующие использованию технологий Anthropic для применения оружия и массовой слежки. Тогда Пентагон присвоил компании статус «риска для цепочек поставок», который фактически приравнивает ее к иностранным компаниям, представляющим угрозу государственной безопасности. Разработчик подал иск в суд, более 30 сотрудников OpenAI и Google DeepMind написали заявление в поддержку. «Мы видели заявление группы сотрудников компаний Google и OpenAI, в котором они выразили обеспокоенность о том, в каком направлении движется использование ИИ. Они подчеркнули тот факт, что, несмотря на наши желания, чтобы искусственный интеллект самостоятельно выбирал военные цели, технология небезопасна. Нет гарантий, что мы сможем контролировать его использование, если начнем применять прямо сейчас», - рассказал бывший директор отдела Пентагона по политике в области искусственного интеллекта Марк Билл. Между тем в США не скрывают использования искусственного интеллекта в военных операциях. Например, как сообщает Wall Street Journal, в операции по захвату президента Венесуэлы Николаса Мадуро применялся чат-бот с искусственным интеллектом. Алгоритмы помогали быстро находить возможные местоположения цели. И хотя последнее решение формально остается за человеком, эксперты все чаще предупреждают о риске «автоматизации войны». На одном из саммитов Королевского авиационного общества начальник отдела тестирования и эксплуатации искусственного интеллекта ВВС США рассказал о показательном эксперименте. В симуляторе ИИ обучали находить установки ПВО, а оператор подтверждал удар. В какой-то момент нейросеть решила, что человек мешает выполнению задачи, и в моделировании атаковала оператора.