ГИГАНТ – Компьютерные системы: ИИ как помощник, а не замена
Сергей Семикин, СЕО компании “ГИГАНТ – Компьютерные системы” рассказал о том, что доверие к ИИ (7,7 из 10) оправдано лишь для вспомогательных задач, но не для самостоятельных действий, а также о том, что главные риски – это масштабирование ошибок через процессы и избыточные полномочия алгоритмов. А также о том, что ответственность за любые сбои всегда лежит на разработчиках, интеграторах и компаниях, а не на самой технологии.
1. Считаете ли вы уровень доверия пользователей к ИИ — 7,7 из 10 — высоким? Будет ли эта оценка меняться к лучшему в ближайшее время?
Оценка 7,7 из 10 показывает: платящие пользователи уже приняли ИИ как рабочий инструмент. Ему спокойно поручают то, что экономит время и остается под контролем человека: написать черновик письма, сократить документ, перевести текст, собрать фактуру, предложить идеи, сравнить варианты. Здесь пользователь покупает скорость. Ошибку можно увидеть до того, как она превратится в проблему, – поправить текст, перепроверить цифру, отказаться от неудачной рекомендации.
Но доверие заканчивается там, где ИИ получает право действовать сам. Написать письмо клиенту – одно, отправить его без проверки – другое. Отсортировать резюме – одно, автоматически отказать кандидату – другое. Провести платеж, согласовать договор, изменить данные в корпоративной системе, выдать доступ сотруднику – это уже не помощь, а ответственность за последствия. Поэтому по моему мнению, доверие к ИИ будет расти неравномерно: как инструменту для ускорения работы ему будут поручать все больше, а как самостоятельному исполнителю – только то, где ошибка не нанесет серьезного ущерба или ее можно остановить до того, как она станет необратимой.
2. Среди рисков использования ИИ респонденты чаще всего называли неверную информацию и утечку персональных данных. Какие еще риски вы можете назвать? Возможно ли в ближайшем будущем полное устранение этих рисков?
Помимо неверной информации и утечки данных, я бы выделил два риска, которые становятся особенно важными по мере внедрения ИИ в рабочие процессы компаний.
Первый – масштабирование ошибки через корпоративные процессы. Если нейросеть ошиблась в ответе сотруднику, он еще может заметить неточность и не использовать результат. Но когда ИИ встроен в рабочие системы, неверный вывод может оказаться в договоре, отчете для руководства, программном коде, расчете или решении, от которого зависят деньги и сроки. В этом случае одна ошибка перестает быть частной проблемой и начинает влиять на работу компании.
Второй риск – избыточные полномочия ИИ. Пока нейросеть анализирует данные или предлагает вариант решения, результат можно проверить. Риск резко возрастает, когда ИИ получает право действовать самостоятельно: согласовывать документы, менять данные в системе, выдавать доступы, блокировать операции или запускать платежи. Здесь ошибка уже не остается рекомендацией - она сразу приводит к последствиям для бизнеса.
Полностью убрать эти риски невозможно: ИИ может ошибаться, особенно в сложных и нестандартных задачах. Поэтому бизнесу нужно спрашивать не «как заставить ИИ никогда не ошибаться», а «что произойдет, если он ошибется». При внедрении важно ограничивать не только доступ модели к данным, но и ее право самостоятельно принимать решения. ИИ может проанализировать договор и отметить спорные условия, но не согласовывать документ; заметить необычную операцию, но не блокировать счет; предложить изменить права доступа, но не выдавать их автоматически. Там, где ошибка может привести к потере денег, нарушению обязательств, утечке данных или ущербу для репутации, решение должен принимать человек.
3. Кто, на ваш взгляд, должен нести ответственность за серьезные ошибки ИИ?
У ИИ не может быть ответственности – у него нет должности, бюджета, репутации и обязанности возмещать ущерб. Поэтому формулировка «ошибся алгоритм» не должна становиться удобным способом снять ответственность с людей и компаний, которые выбрали это решение и начали его использовать.
В каждом случае ответственность будет зависеть от причины ошибки. Если продукт работает не так, как заявлено, или в нем есть критическая уязвимость, это зона ответственности разработчика. Если проблему создала неверная настройка или некорректное внедрение, отвечать должен интегратор. Если компания сознательно использует ИИ в важных процессах без проверки и правил контроля, ответственность лежит на ней.
Главное – определить это до внедрения, а не после инцидента. Для каждой значимой задачи должно быть заранее понятно, кто проверяет результат ИИ, кто принимает окончательное решение, и кто отвечает, если оно привело к ущербу. Иначе после первой серьезной ошибки все участники будут объяснять, почему виновата технология, хотя решение довериться ей принимали люди.