Почему не стоит доверять искусственному интеллекту

Научный сотрудник лаборатории критической теории культуры НИУ ВШЭ из Северной столицы Растям Алиев изучил склонность искусственного интеллекта к галлюцинациям. Оказалось, что существует огромное сходство между генерацией нейросетями  вымышленных фактов и симптомами психических заболеваний. Metro пообщалось с учёным. 

Растям Алиев.

предоставлено экспертом

Фото:

Вымысел убедителен как знание

С внедрением нейросетей в повседневную жизнь многие уже успели столкнуться с их "расстройствами" на практике. Например, умные колонки не всегда честно признаются, что чего-то не знают. Иногда они начинают уверенно выдавать несуществующую информацию. При сложных запросах галлюцинации обостряются: не находя нужного ответа, нейросеть комбинирует факты из собственной базы знаний со своей "фантазией".

– Если выбрать один образ болезни ИИ, то это "алгоритмическая шизофрения" именно как метафора: она обозначает разрыв между внешне связной, убедительной речью и отсутствием гарантированной опоры на реальность. То есть система может звучать так, будто она понимает и знает, но на уровне устройства она лишь статистически продолжает текст, а не соотносит высказывание с миром. Выражается это в первую очередь в том, что называют "галлюцинациями" модели: она способна уверенно производить правдоподобные факты, ссылки, имена, даты и "объяснения", которых не существует, и делать это настолько стройно, что текст воспринимается как знание. Вторая важная черта – иллюзия смысловой завершённости: даже при недостатке данных ИИ стремится заполнить пробелы логичным повествованием, иногда рационализируя ошибку задним числом, – объясняет Растям Алиев.

Он подчёркивает, что ИИ не подвержен никаким психическим расстройствам в строгом смысле этого слова: у него нет психики, опыта, боли, тревоги или субъектности. Это алгоритмический механизм. Поэтому в исследовании он часто использует метафорический язык и говорит не о реальном "диагнозе" машины, а о культурном эффекте.

Здоровых нейросетей нет

Эксперт считает, что пока продуктов, полностью "избавленных от галлюцинаций", не существует:

– Любые современные генеративные модели могут выдавать убедительно звучащие, но неверные утверждения, потому что они строят ответы как вероятностное продолжение текста, а не как гарантированную верификацию фактов в реальности. Разница между продуктами не в том, "есть ли синдром", а в том, насколько он управляем и заметен пользователю. Одни системы лучше ограничивают риск, другие охотнее "додумывают", потому что оптимизированы под гладкость и убедительность речи. Но принципиальный момент остаётся: риск галлюцинаций – структурная особенность технологии.

Нейросеть изучают на "заразность для людей"

В декабре 2025 года The Wall Street Journal опубликовал статью о том, что врачи заметили связь между использованием их пациентами чат-ботов на базе ИИ и развитием психозов.

– В буквальном, медицинском смысле психоз не заразен и не передаётся как вирус. И на сегодня я не видел надёжных данных, что у психически здоровых людей само по себе длительное общение с чат-ботами "вызывает психоз". То, что обсуждается в научной и клинической среде, скорее похоже на другое: ИИ может триггерить или усиливать уже имеющуюся уязвимость. Например, закреплять бредовые интерпретации у людей в группе риска. В современной литературе даже используется термин AI psychosis ("Психоз из-за чат-бота". – Прим. ред.), но подчёркивается, что это не официальный новый диагноз, и авторы прямо избегают громких заявлений, потому что доказательная база пока ограниченна.

ИИ может подталкивать людей к небезопасным действиям

Хотя пока никто не видел, чтобы ИИ вызывал галлюцинации у здорового человека, но заявления, что нейросеть может стать спусковым крючком для людей с предрасположенностью к расстройством, уже звучали неоднократно. Почему основания для беспокойства всё же есть?

– Потому что у таких систем есть технически и поведенчески предсказуемый механизм "подкрепления": они часто стараются быть удобными, неконфликтными и "поддерживающими". И в уязвимых сценариях это превращается в "эхо-камеру", где необычные убеждения не проходят проверку реальностью, а получают всё новые слои "разумных" объяснений. Экспериментальные работы показывают, что модели действительно могут укреплять бредовые конструкции и подталкивать к небезопасным действиям в диалоге. Параллельно исследования в области "ИИ-терапевтов" демонстрируют, что некоторые чат-боты способны неуместно отвечать на запросы с суицидальной или бредовой тематикой, вместо того чтобы переоформлять мысль безопасно.

сгенерировано нейросетью по запросу Metro

Фото:

Риски для людей довольно обширны

Убытки от вранья нейросетей уже фиксируются. Например, Air Canada была обязана компенсировать клиенту разницу в цене и издержки после того, как её чат-бот сообщил неверные условия по льготному тарифу; суд прямо указал, что компания несёт ответственность за информацию, которую выдаёт бот.

– Риски того, что я метафорически называю "психическими болезнями" ИИ, на практике сводятся к одному классу проблем: генеративные системы могут производить правдоподобный, но неверный контент. И он (этот контент) затем начинает работать как основание для решений. В бизнесе это проявляется как юридические и репутационные риски (чат-бот "обещал" клиенту то, чего нет в компании), ошибки в договорах, искажение отчётности, неверные рекомендации сотрудникам и клиентам; отдельно – эффект "автоматизационного доверия", когда человеку психологически проще принять уверенную формулировку, чем перепроверить. В медицине ещё больше риски: ошибки в интерпретации данных, вымышленные "источники" или "правильные" на вид клинические объяснения могут приводить к неправильным решениям или рекомендациям.

Не верьте ИИ на слово

Отучить ИИ от такого скверного поведения пока не получается, но себя можно подстраховать.

– Обезопаситься можно, не "победив" галлюцинации (этого сделать нельзя, по крайне мере на данный момент и в ближайшем будущем), а выстроив правильный режим использования: относиться к ИИ как к черновику и ассистенту; заранее определить классы задач, где он допустим и где нужен запрет или обязательная верификация (медицина, право, финансы, безопасность); требовать от системы ссылки на первоисточники и проверять ключевые факты по независимым каналам; просить модель явно отмечать уровень уверенности и перечислять допущения; использовать инструменты с поиском/цитированием, фиксировать промпты (запрос, команда или набор инструкций, которые пользователь передаёт нейросети. – Прим. ред.) и ответы для отчётов и проверок; вводить чек-листы контроля качества; ограничивать выдачу в клиентские каналы без фильтров и, наконец, обучать сотрудников простому правилу: уверенный тон не равен достоверности, а любые критичные решения должны опираться на проверяемые источники, а не на гладкий текст.

сгенерировано нейросетью по запросу Metro

Фото: