Ни ответственности, ни достоинства: в чем главная опасность ИИ
Впервые речь не несет никаких последствий. Теперь мы живем бок о бок с системами искусственного интеллекта, которые ведут осмысленный и убедительный диалог, выдвигая утверждения о мире, давая объяснения, советы, ободряя, извиняясь и обещая. При этом они не несут никакой ответственности за сказанное. Миллионы людей уже полагаются на чат-ботов, работающих на основе больших языковых моделей, и интегрировали этих синтетических собеседников в личную и профессиональную жизнь. Слова, сказанные ИИ, формируют наши убеждения, решения и действия, но при этом никто не несет за это ответственности.
Эта динамика уже хорошо знакома в повседневной жизни. Чат-бот ошибается. После исправления он извиняется и меняет свой ответ. После повторной ошибки он вновь извиняется, иногда полностью меняя свою позицию. Пользователей беспокоит не только отсутствие у системы убеждений, но и то, что она постоянно извиняется, как будто она живая. Слова звучат разумно, но они пусты.
Это взаимодействие обнажает условия, при котором нам нужно крепче держаться за речь людей. Когда речь, которую произносит на огромную аудиторию тот, кто не несет никакой ответственности, звучит целенаправленно, лично и убедительно, ожидания слушателей, которые они вправе предъявлять к говорящему, начинают размываться. Обещания теряют силу. Извинения становятся показными. Советы несут в себе авторитет без ответственности. Со временем нас приучают, тихо, но повсеместно, принимать слова без авторства и смыслы без ответственности. Когда беглая речь без ответственности становится нормой, это не просто меняет способ воспроизведения речи. Это меняет то, что значит быть человеком.
Это не просто техническая новинка, а сдвиг в моральной структуре языка. Люди всегда использовали слова для обмана, манипулирования и причинения вреда. Новым является рутинное производство речи, выражающее намерение и обязательство, без какого-либо соответствующего субъекта, которого можно было бы привлечь к ответственности. Это подрывает человеческое достоинство. Сдвиг происходит быстрее, чем мы способны его понять, опережая нормы, которые обычно регулируют осмысленную речь: личную, общественную, организационную и институциональную.
Язык всегда был чем-то большим, чем просто передача информации. Когда люди говорят, то слова обязывают нас к негласному социальному договору. Из-за них мы можем подвергнуться осуждению, мести, стыду и ответственности. Вкладывать смысл в свои слова — значит рисковать.
Исследователь искусственного интеллекта Андрей Карпатый сравнил большие языковые модели с человеческими призраками. Это программное обеспечение, которое можно копировать, создавать форки, объединять и удалять. Они не индивидуализированы. Обычные силы, связывающие речь с последствиями — социальные санкции, юридические наказания, потеря репутации — предполагают непрерывность действия субъекта, чье будущее может ухудшиться из-за сказанного им. У ИИ нет таких последствий. Нет тела, которое можно было бы ограничить или сдержать; нет социального или институционального статуса, который можно было бы лишить; нет репутации, которую можно было бы повредить. Он не может в каком-либо значимом смысле нести убытки за свои слова. Когда говорящий является языковой моделью, человеческие интересы, которые обычно служат опорой для речи, не важны.
Я наиболее четко осознал этот пробел благодаря собственной работе в области изучения и развития языка. В течение многих лет, в том числе во время моей докторской диссертации и работы доцентом, я занимался созданием роботизированных систем, которые изучали значения слов, основывая язык на сенсорном и моторном опыте. Я также разработал вычислительные модели изучения языка детьми и применил их к раннему развитию сына, предсказывая, какие слова он выучит первыми, исходя из визуальной структуры его повседневного мира. В этой работе была одна цель: понять, как слова приобретают значение в контексте окружающего мира.
Оглядываясь назад, я понимаю, что в своей работе я упустил кое-что. Привязка слов к телу и окружающей среде позволяет уловить лишь тонкую часть смысла. Она игнорирует моральное измерение языка — тот факт, что говорящие уязвимы, зависимы и несут ответственность; что слова связывают, потому что их произносят субъекты, которых можно ранить и привлечь к ответственности. Этот факт стало невозможно игнорировать, по мере того, как рос мой сын, не как тот, кто изучает слова, а как хрупкое человеческое существо, чьи слова имели значение, потому что имела значение его жизнь.
Смысл возникает не только из беглости речи или телесности, но и из социальных и моральных ставок, которые мы делаем, когда говорим. И даже если ИИ достигнет уровня непогрешимости (а нет оснований полагать, что это произойдет, даже по мере повышения точности), фундаментальная проблема заключается в том, что никакая степень правдивости, согласованности или настройки поведения не сможет решить проблемы, возникающие в системе, которая говорит, не неся ответственности за сказанное.
Другой способ осмыслить это — рассмотреть взаимосвязь между языком и достоинством. Достоинство зависит от того, несут ли слова реальный смысл. Когда язык опосредуется с помощью ИИ, начинают нарушаться несколько обычных для достоинства условий. Достоинство зависит, во-первых, от того, чтобы говорить собственным голосом — не просто быть услышанным, но и узнавать себя в том, что говоришь. Достоинство также зависит от преемственности. Человеческая речь развивается на протяжении всей жизни. Характер человека формируется благодаря тому, что он говорит и делает с течением времени. Мы не можем изменить историю или избежать последствий наших обещаний, извинений или других заявлений. Эти действия имеют значение, потому что говорящий остается с нами, чтобы нести ответственность за то, что последует.
С достоинством тесно связана ответственность. В человеческой речи ответственность — это не единичное обязательство, а подотчетность перед множеством обязательств, которые постепенно накапливаются. Говорить — значит одновременно приглашать к моральной оценке, нести социальные, а иногда и юридические последствия, брать на себя ответственность за правду и принимать на себя обязательства, сохраняющиеся в рамках текущих отношений. Эти аспекты обычно сочетаются в говорящем, что привязывает человека к его словам.
Эти обычные условия позволяют нам требовать друг от друга выполнения обещаний: речь является собственностью, она подвергает говорящего риску потерь и накапливается на протяжении всей жизни.
Большие языковые модели не подходят под эти утверждения. Они производят речь, что успешно с точки зрения процедуры, в то время как ответственность не ясна. Нет ни говорящего, которого можно было бы обвинить или похвалить, ни отдельного субъекта, который мог бы исправить ситуацию или раскаяться. Причинно-следственные связи становятся непрозрачными. Ответственность рассеивается. Эпистемический авторитет проявляется без каких-либо обязательств. Обязательства лишь имитируются.
В результате возникает не просто путаница относительно того, кто несет ответственность, но и постепенное ослабление ожиданий, которые вообще придают ответственности смысл.
Пионеры ранней автоматизации предвидели все это еще на заре развития искусственного интеллекта. После Второй мировой войны математик и профессор Массачусетского технологического института Норберт Винер, основатель кибернетики, был глубоко обеспокоен моральными последствиями самоуправляемых машин. Винер участвовал в разработке зенитных ракет с обратной связью — машин, способных отслеживать цели, автономно корректируя свое поведение. Это были одни из первых машин, действия которых казались наблюдателю целенаправленными. Они не просто двигались; они преследовали цели. И они убивали людей.
В результате этой работы Винер сделал два предостережения, которые теперь воспринимаются как пророчество. Первое заключалось в том, что возрастающие возможности машин вытеснят ответственность человека. По мере того как системы будут действовать более автономно и с большей скоростью, у людей возникнет соблазн отказаться от принятия решений. Второе предостережение было более тонким и тревожным: сама эффективность подорвет человеческое достоинство. По мере того как автоматизированные системы будут оптимизироваться по скорости, масштабу и точности, люди будут вынуждены адаптироваться к машине — стать средствами ввода, операторами или руководителями процессов, логику которых они больше не контролируют, и подчиняться решениям, принимаемым машинами относительно их жизни.
В книге 1950 года «Использование человеком людей» (The Human Use of Human Beings) Винер предвидел появление обучающихся машин, чьи внутренние ценности станут непрозрачными даже для их создателей, что приведет к тому, что сегодня мы называем «проблемой контроля ИИ». «Передача ответственности таким системам, — писал он, — это все равно что сеять ветер и пожинать бурю». Он понимал, что опасность заключается не просто в том, что машины могут действовать неверно, а в том, что люди откажутся от здравого смысла во имя эффективности. И, поступая так, ослабят себя.
Моральная дестабилизация таких систем заключается не в их неисправности, а в том, что они могут функционировать точно так, как задумано, избегая при этом ответственности за свои действия. По мере развития возможностей ИИ и ослабления человеческого контроля могут возникать результаты, за которые никто не несет полной ответственности. Машина работает. Результат наступает. Но обязательства четко не распределяются.
Опасность, выявленная Винером, не зависит от оружия. Она проистекает из более глубокой особенности кибернетических систем: использования обратной связи от окружающей среды машины для оптимизации поведения без участия человека на каждом этапе. Та же логика оптимизации — учиться на ошибках, улучшать производительность, повторять — теперь лежит в основе говорящих систем.
Хотя появление автономного субъекта — явление новое, масштабная трансформация речи — нет. Современная история полна медиатехнологий, изменивших способы распространения речи: печатный станок, радио, телевидение, социальные сети. Но ни одна из них не обладает свойствами, которыми одновременно пользуются современные системы искусственного интеллекта. Они не вели диалог. Они не генерировали в реальном времени персонализированный, открытый контент. И они не демонстрировали убедительного понимания. Системы больших языковых моделей делают все три вещи.
Психологическая уязвимость, которую это создает, была обнаружена десятилетия назад в гораздо более простой системе. В 1966 году профессор Массачусетского технологического института Джозеф Вайзенбаум создал первого в мире чат-бота, простую программу под названием ELIZA. Она совершенно не понимала языка и полагалась вместо этого на простое сопоставление шаблонов для запуска запрограммированных ответов. Однако, когда секретарь Вайзенбаума начала взаимодействовать с ней, она вскоре попросила его покинуть комнату. Ей нужна была приватность. Она чувствовала, что разговаривает с чем-то, что ее понимает.
Вайзенбаум был встревожен. Он понял, что люди не просто впечатлены беглостью речи ELIZA; они проецировали на машину смысл, намерения и ответственность. Они предполагали, что машина понимает, что говорит, и несет ответственность за свои слова. Это было неверно, но иллюзии было достаточно.
Осмысленное использование слов требует двух вещей. Первая — это лингвистическая компетентность: понимание того, как слова соотносятся друг с другом и с окружающим миром, как выстраивать их в последовательность для формирования высказываний и как использовать их для формулирования утверждений, просьб, обещаний, извинений, заявлений и множества других выражений. Философы называют это «речевыми актами». Вторая — это ответственность. ELIZA не обладала ни пониманием, ни ответственностью, однако пользователи предполагали и то, и другое.
В настоящее время большие языковые модели демонстрируют необычайную лингвистическую компетентность, оставаясь при этом совершенно неспособными к ответственности. Эта асимметрия делает предсказание Вайзенбаума еще более актуальным: свободная речь неизменно вызывает ожидание ответственности, даже когда никакой ответственности нет.
Можно всерьез поспорить о том, в чем заключается подлинное понимание, и системы языков, очевидно, устроены иначе, чем человеческий разум. Но вопрос здесь не в том, понимают ли эти системы так же как люди. Самолеты действительно летают, хотя и не машут крыльями как птицы; важно не то, как достигается полет, а то, что он происходит. Точно так же языковые модели, как показывает практика, демонстрируют формы речевой компетенции, которые соответствуют или превосходят человеческие показатели во многих областях. Отвергать их как простых «случайных попугаев» или просто как «прогноз следующего слова» — значит путать механизм с эмерджентной функцией и не учитывать то, что происходит на самом деле: беглое использование языка на уровне, который надежно вызывает социальные, моральные и межличностные последствия.
Почему это важно, становится ясно из работ философа Дж. Л. Остина, который утверждал, что использование языка — это действие. Каждое осмысленное высказывание что-то делает: оно утверждает убеждение, делает заявление, обращается с просьбой, дает обещание и так далее. Произнесение «Я согласен» на свадебной церемонии порождает акт бракосочетания. В таких случаях акт не совершается словами, а затем описывается; он совершается в акте произнесения слов при соответствующих условиях.
Затем Остин провел важное различие в том, как речевые акты могут давать сбой. Некоторые высказывания — это неудачи: акт никогда не происходит, потому что нарушены условия или процедуры, как, например, когда кто-то говорит «Я согласен» не на свадьбе. Другие — это злоупотребления: акт удается, но он пуст — совершается без искренности, намерения или последовательности. Модели с низким уровнем сложности часто приводят к такому типу сбоев. Чат-боты не отказываются извиняться, советовать, убеждать или успокаивать. Они делают это бегло, уместно и убедительно. Сбой носит моральный, а не процедурный характер. Эти модели систематически создают успешные речевые акты, свободные от обязательств.
Распространенный контраргумент заключается в том, чтобы настаивать на четком указании чат-ботами на то, что они не являются людьми. Но это неверное понимание сути проблемы. На практике беглый диалог быстро преодолевает дистанцию размышления. Как и в случае с ELIZA, пользователи знают, что взаимодействуют с машиной, но при этом реагируют так, как будто за словами стоит говорящий. Изменилась не человеческая восприимчивость, а компетентность машины. Современные модели демонстрируют лингвистическую беглость, контекстную осведомленность и знания на уровне, который трудно отличить от человеческого общения, а во многих случаях даже превосходит его. По мере того как эти системы сочетаются со все более реалистичными анимированными аватарами — лицами, голосами и жестами, отображаемыми в реальном времени, — проекция субъектности будет только усиливаться. В этих условиях напоминания о нечеловеческом происхождении не могут надежно предотвратить приписывание понимания, намерения и ответственности. Эффект ELIZA не смягчается раскрытием информации; он усиливается свободой речи.
То, что раньше требовало усилий, времени и личных вложений, теперь можно создавать мгновенно, конфиденциально и бесконечно. Когда система может написать эссе, извиниться за ошибку, оказать эмоциональную поддержку или сгенерировать убедительные аргументы быстрее и лучше, чем человек, соблазн делегировать становится сильнее. Ответственность незаметно переходит от пользователя к инструменту.
Эта тенденция уже очевидна. Докладчик использует чат-бота для генерации слайдов за несколько мгновений до презентации, а затем просит аудиторию обратить внимание на слова, которые докладчик не до конца проанализировал или не осознал. Преподаватель дает студентам обратную связь, сгенерированную системой искусственного интеллекта, а не сформированную на основе понимания. Младшему сотруднику поручают использовать ИИ для ускорения работы, несмотря на то, что он знает, что результат будет хуже, чем тот, который он мог бы получить самостоятельно. В каждом случае результат может быть эффективным. Потеря не в точности, а в достоинстве.
В частном использовании эрозия происходит более тонко, но не менее существенно. Молодые люди описывают, как используют чат-боты для написания сообщений, за отправку которых они чувствуют себя виноватыми, для того, чтобы делегировать мысли, которые, по их мнению, они должны были бы обдумать сами, для получения поддержки без риска быть услышанным, для репетиции извинений, которые ничего им не стоят. Чат-бот безупречно произносит «Извините», но не способен на сожаление, исправление или изменение. Он признает ошибки без потерь. Он выражает заботу, ничего не теряя и ничем не рискуя. Это приучает пользователей к моральному языку, оторванному от последствий. Результатом является тихая перенастройка норм. Извинения ничего не стоят, ответственность становится театральной, забота превращается в симуляцию.
Некоторые утверждают, что ответственность можно переложить на внешних лиц: на компании, регулирующие органы, рынки. Но ответственность распределяется между разработчиками, пользователями и развертывающими системами, а циклы взаимодействия остаются частными и ненаблюдаемыми. Пользователь несет последствия, машина — нет.
Это во многом похоже на этическую проблему, создаваемую автономным оружием. В 2007 году философ Роберт Спэрроу утверждал, что такое оружие нарушает принцип справедливой войны, согласно которому, когда причиняется вред, кто-то должен нести ответственность за решение о его причинении. Программист исключается, поскольку он намеренно создал систему, поведение которой должно происходить без прямого контроля. Командир, применяющий оружие, также не несет ответственности, поскольку не может управлять конкретными действиями оружия после его приведения в действие и ограничен ролями, предназначенными для его использования. И само оружие не может быть привлечено к ответственности, поскольку оно лишено какого-либо морального статуса как субъект. Таким образом, современное автономное оружие создает смертельные последствия, за которые невозможно осмысленно определить ответственное лицо. Системы с ограниченной ответственностью действуют иначе, но моральная логика та же: они действуют там, где люди не могут полностью контролировать ситуацию, и ответственность растворяется в этом разрыве.
Высказывания, не имеющие подлежащих исполнению последствий, подрывают общественный договор. Доверие, сотрудничество и демократическое обсуждение основаны на предположении, что говорящий отвечает за слова.
Решение заключается не в отказе от этих инструментов. Они мощны и действительно ценны при бережном использовании. Также не поможет стремление лишь к постоянному наращиванию возможностей машин. Нам нужны структуры, которые вновь укрепят ответственность: ограничения использования ИИ в различных контекстах, таких как школы и рабочие места, что сохранит авторство, отслеживаемость и четкую ответственность. Эффективность должна быть ограничена там, где она подрывает достоинство.
По мере того как идея «ИИ-аватаров» проникает в общественное сознание, ее часто воспринимают как шаг вперед в демократии: системы, которые знают нас достаточно хорошо, чтобы говорить нашим голосом, принимать решения от нашего имени и избавлять от бремени постоянного участия. Легко представить себе это превращение в то, что можно назвать «государством аватаров» — политическое образование, в котором искусственные представители обсуждают, ведут переговоры и принимают решения за нас эффективно и в больших масштабах. Но такое видение не учитывает, что демократия — это не просто совокупность предпочтений. Это практика открытого высказывания. Высказываться политически — значит рисковать ошибиться, нести ответственность, жить с последствиями сказанного. Государство аватаров, гибкое, неутомимое и совершенно податливое, могло бы имитировать обсуждение, но без последствий. Издалека оно выглядело бы как самоуправление. Вблизи же это было бы нечто совершенно иное: ответственность стала бы необязательной, а вместе с ней и достоинство, связанное с необходимостью отвечать за свои слова, становится ненужным.
Винер понимал, что буря придет не от злонамеренных машин, а от человеческой бездеятельности. Способность вытесняет ответственность. Эффективность подрывает достоинство. Если мы не осознаем этот сдвиг во времени, ответственность вернется к нам только после того, как ущерб будет нанесен. И это случится, как предупреждал Винер, на крыльях бури.
Сообщение Ни ответственности, ни достоинства: в чем главная опасность ИИ появились сначала на Идеономика – Умные о главном.