«Грядёт мировая война роботов». Почему икусственный интеллект опаснее бомбы

Какое место России в мировой гонке за техническое превосходство? Как техника шпионит за нами и может ли она взбунтоваться?

Об этом рассказывает специалист по IT-безопасности, член Совета при Президенте РФ по развитию гражданского общества и правам человека Игорь Ашманов.

Бояться надо машин или людей?

Дарья Буравчикова, «АиФ»: Игорь Станиславович, сегодня что ни день, то новости про искусственный интеллект (ИИ): он, мол, способен заменить депутатов, президент поручил внедрять его в российских компаниях и т. д. Что такое ИИ?

Игорь Ашманов: Искусственный интеллект – это способ имитировать умственные функции человека с помощью математических методов. Распознавание текста или речи, распознавание лиц, управление ­транспортом – всё это сейчас уже может сделать машина.

Этому направлению около 60 лет. Окончив мехмат МГУ, я в 1983 г. пришёл работать в отдел искусственного интеллекта Вычислительного центра Академии наук. Тогда в СССР был совет по ИИ, в Академии наук занимались и распознаванием речи, и анализом текстов, и управлением беспилотниками. Если вы помните, наш космический челнок «Буран» в 1988-м летел и садился в полностью автоматическом режиме, с точностью до 1 секунды и 1,5 м полосы, им управлял ИИ.

– Много говорят о том, что, развиваясь, ИИ оставит без работы миллионы людей. Какие профессии обречены?

– Это замещение произойдёт не так быстро. Водителей, думаю, в итоге не станет – по крайней мере в таком количестве, что сейчас. Будут ездить беспилотные такси и грузовики. Но в целом все рабочие специальности останутся. ИИ угрожает в первую очередь «белым воротничкам», т. е. среднему классу. Зачем выпускать дорогое устройство, которое делает простую работу, – проще нанять человека. А экономия на бизнес-процессах, которые выполняет вроде бы неглупый и хорошо оплачиваемый сотрудник, может быть существенной. Но вот престиж программистов будет только расти.

– Возможен ли сценарий из фантастических фильмов: ИИ взбунтуется против людей?

– Нет. Чтобы он взбунтовался, ИИ должен обрести сознание. А мы пока не знаем, что такое сознание даже в отношении человека. Бояться надо не машин, а злых и умных людей. Никто не будет создавать машину, которая себя осознает, – создадут машину, которая исполняет злой алгоритм. Убивает, выслеживает, шпионит, манипулирует, втюхивает – вот этого надо бояться.

И начнётся антиутопия

– Вы прогнозируете и военные столкновения, в которых страны могут уничтожить друг друга с ­помощью ИИ...

– Да, ИИ становится оружием номер один в военной области, он выходит на равные позиции с атомной энергией и потенциально даже важнее неё. Применять роботов в быту, конечно, интересно – они делают жизнь комфортнее. Но самое важное в ИИ – это военное применение. Первое, что сделало человечество, открыв ядерную энергию, – не мирную атомную электростанцию, а бомбу, причём опробовали её на мирном населении буквально через месяц после создания первого прототипа, превращение в оружие произошло мгновенно. То же будет и с ИИ.

Сейчас мир на планете обеспечивает ядерное сдерживание. Но у самых агрессивных государств есть идея, что это ограничение можно снять за счёт сверхбыстрых автономных систем, управляемых ИИ. ­Если можно победить противника, вообще не используя солдат и ядерное оружие, заслав рой умных крылатых ракет или армию дронов, пробив все его защиты, сжигая все его ядерные шахты, – то можно переломить и ядерное сдерживание. В дальнейшем нач­нётся антиутопия: появятся боевые системы на основе ИИ с лицензией на убийство. Лидерами здесь видят себя США и Китай.

– Какова позиция России в этой гонке?

– Неплохая. У нас есть все основания участвовать в борьбе за лидерство в области ИИ – как военного, так и мирного. Долгое время, в советский период, мы были безоговорочными лидерами в области информатики и ИИ. У нас очень хорошие программисты и математики. Большое количество программ ИИ и поисковиков, соцсетей в Штатах «пишут» русские программисты, которые уехали из России. И если индусы считаются дешёвой посредственной рабочей силой, то русские ребята – самыми крутыми в ИТ!

За вами следит телевизор

– Вернёмся от проблем глобального уровня к бытовому ИИ. Вы говорили, что данные о нас собирают и передают друг другу все кому не лень. Когда я захожу на сайт и смотрю новый телевизор, а потом на меня сыпется реклама телевизоров, – это оно?

– Да, сайт продаёт вас как потенциально перспективного клиента. Более того, системы анализируют сотни ваших параметров: в какие магазины вы ходите? Такси по какому тарифу вызываете? На основании этого делаются выводы, что вам можно продать. Есть данные о том, что программы так же постоянно прослушивают вас: если мы поговорим о покупке нового телевизора, то нам обоим будет выдаваться реклама телевизоров последних моделей. Совпадение? Вряд ли. Активнее всего за пользователями следят умные телевизоры с возможностью управления жестами – в них есть камера и микрофон. Никогда не подключайте их к интернету! А если всё же сделали это, заклейте камеру на ТВ изолентой. На втором месте по слежке – умные голосовые колонки: они прослушивают ваш дом 24/7. В США было несколько скандалов, связанных с Амазоном и другими производителями. И ещё – фитнес-браслеты. Это самое большое зло! Есть исторический анекдот: незадолго до смерти Брежнев ездил на переговоры в ФРГ. Там вместо унитаза ему подсунули лабораторию, которая собрала все биологические выделения, чтобы сделать анализ – чем он болен, сколько ему осталось жить. Так вот, все эти биологические данные наши чиновники отдают даром: фитнес-браслеты – это дешёвая массовая разведывательная операция. Браслет снимает сопротивление кожи, пульс, взмахи рукой, когда вы идёте. Представим, что кто-то поехал к любовнице и хочет это скрыть. Фитнес-браслет снимет координаты и передаст на сервер, который распознает характерные движения при сексе, – и вот у авторов браслета компромат: человек имеет любовницу и дважды в неделю ездит к ней в Мытищи. В браслетах ещё много таких вещей, которые мы сами про себя рассказываем неизвестно кому.

– Как эти данные можно использовать во вред человеку? ­Который, предположим, и не ­изменяет никому...

– К примеру, собрав все ваши запросы, перемещения, посты в соцсетях, можно вычислить: больны вы или нет, а если да – чем именно, беременны или нет. Вот гипотетическая ситуация: некая девушка последние 2 дня искала в поисковиках ­товары для беременных, а также выясняла, сколько стоят роды в разных роддомах. Затем она обновила резюме на сайтах поиска работы. Кадровые службы смотрят его, и все – отклоняют. Так как система передачи и продажи данных по цепочке уже привела к пометке в резюме, что она беременна. Это вообще-то уголовное преступление, ст. 145 УК РФ, но пока оно совершенно недоказуемо – технический аудит потоков данных массовых интернет-сервисов ещё у нас не легализован.

– И всё же – как защитить свои данные?

– Это не технический вопрос, а социальный. Нужно принять мысль: всё, что вы сделали в сети (в электронной почте, мессенджере, соцсетях), публично и навсегда. Вот у вас есть фото­графии на смартфоне – считайте, что они доступны всем. Потому если вы не хотите травли, шантажа или разглашения информации – не храните и не пересылайте ничего стыдного. Это как в истории с футболистом «Зенита» Дзюбой – он, снимая злополучное видео, не думал о возможной утечке.

Попадая в интернет, любая информация остаётся там навсегда, сеть – безжалостная машина времени. Но знает она о вас только то, что вы ей сами сообщаете.

– Почему именно сейчас об ИИ заговорили как о новой реально­сти?

– Примерно в 2011–2012 гг. произошёл технический скачок, который перевёл ИИ на совершенно новый уровень. Сошлись два фактора: во-первых, были придуманы глубокие нейронные сети. А во-вторых, появилось «железо», которое может обсчитывать. ИИ научился решать сложные задачи – по­явилось распознавание образов, коррект­ное распознавание речи.

Как смартфоны правят миром

– Звучит достаточно сложно.

– На самом деле каждого из нас окружает облако бытового ИИ, причём уже довольно давно. Например, вы просыпаетесь от звонка будильника вашего смартфона – и это сегодня ваш первый контакт с ИИ. Мобильные телефоны просто напичканы программами ИИ: там и распознаватель лица, и опция исправления фотографий, и навигатор. Вы выходите из квартиры и едете на лифте – и лифтом тоже управляет программа ИИ. Она получает данные, на каких этажах нажаты кнопки, обрабатывает их и принимает решение – куда какой лифт вперёд послать. Вы выходите на улицу – мимо едут такси, которыми в городе управляют системы ИИ, водители уже давно стали приложением к программе, механически крутящими руль. Навигатор зависает, и водитель вообще не понимает, куда ехать.

Уже следующее поколение кофемашин будет с ИИ, вы будете управлять ею голосом – говорить, какой кофе сварить.

– И пылесосу, и телевизору мы сможем, как в кино, давать команды. Какие ещё тренды в развитии ИИ? Что он будет скоро уметь?

– Программы ИИ становятся самообучаемыми. Для обучения им нужно «питаться» данными. Чем больше этих данных – тем лучше. Будет собираться всё больше данных про людей, и они будут всё более дорогими. Они и сейчас собираются – это серая зона, неконтролируемый чёрный рынок, если хотите.

– Почему государство не регулирует эту отрасль?

– Законотворчество просто не успевает за техническим развитием. В США решили регулировать простым способом: они разрешили крупным компаниям собирать любые данные без спроса у пользователей и торговать ими. Заметим, что эти компании обязаны передавать все данные спецслужбам США, например Агентству национальной безопасности.

– Вы говорите, что наши программисты во всём мире нарасхват. Причина в качественном высшем образовании?

– Да, высшее образование в России даёт фундаментальный базис в области математики и физики. Математические факультеты – это подтягивания, отжимания, приседания для мозга, оттуда человек выходит с чёрным поясом по мышлению. Он может любую задачу разложить по полочкам. Именно потому наш программист потом гораздо лучше условного индуса – их этому не учат. Например, организовать производ­ство само­лётов или ракет проще, чем создать онлайн-поисковик. У нас в стране создано 4–5 поисковиков, также в США и в Китае. Ещё один – у корейцев, один – у чехов. Больше ни у кого. Аналогичный пример – беспилотные автомобили: мы на самом острие прогресса в этой сфере, у нас в стране десятки проектов и команд по беспилотникам. Нас никто не обгоняет.

– Никто? А как же Tesla Илона Маска?

– Беспилотниками управляет ИИ. Они подразделяются на 6 уровней, от нуля до выс­шего пятого. Это тот уровень, когда машина может двигаться в потоке по заснеженным улицам, которые перебегают пешеходы, и принимать моментальные решения, которые не приведут к ДТП. Так вот, ­автопилот у Tesla, например, – это шоссейник второго уровня. Она может двигаться по шоссе, не сворачивая на маленькие дорожки, может оценивать дистанцию, притормаживать и менять полосу – всё. Яндекс же сделал автомобиль уровня, условно, 4.5, пытается выйти на пятый уровень – и очень близок к победе. И он в нашей стране не один такой. Это сложнее, чем ракету в космос запустить. США и Китай вкладывают в развитие ИИ гигантские ­деньги.

– На уровне государства?

– Да. Практически все крупные государства выпустили свои национальные стратегии по ИИ. У нас такая тоже есть. Я её читал. Там нет ничего плохого или неграмотного, но она, откровенно говоря, пока никакая. И писал её почему-то банк – главный банк в стране, но в целом это не их сфера.

Цифровой «концлагерь»

– Что нужно, чтобы мы стали лидерами или хотя бы не утратили своё место в тройке лидеров в ­области ИИ?

– Больше стратегических решений, больше инвестиций, больше внимания к этой сфере – надо поддерживать компании, удерживать в стране программистов. Ещё один аспект: важно, чтобы ИИ был неопасен, – для этого нужно обеспечение базовых прав пользователей в цифровом пространстве. Иначе каждый рискует попасть в цифровой «концлагерь».

– А это что такое?

– Это реальность, в которой за нами не просто следят с помощью ИИ, но и принимают решения на основании этих данных. Где возникают социальные рейтинги, как в Китае, – система, анализирующая все поступки человека и на основании такой оценки определяющая его как благонадёжного или нет. Благонадёжным достаются социальные блага, а тем, кому система назначила низкий рейтинг, придётся потратить жизнь, ­чтобы исправить его.

– Насколько безопасны приложения для банкинга, дающие доступ к банковскому счёту?

– Как в любом приложении, возможны сбои и утечки. Но основная угроза для безопасности таких приложений – вы сами. Если вы ходите по сомнительным ресурсам, например по порно­сайтам или файло­помойкам, лучше не держите банковских приложений на телефоне. Очень легко загрязнить смартфон левыми приложениями, которые узнают ваш пароль и украдут деньги.

– Сейчас всё больше государственных документов уходит в электронный формат – выписка из ЕГРН вместо свидетельства о собственности, ПТС на автомобили и т. д.

– Верно. Сейчас оригиналом перестаёт быть бумажный документ, а становится электронная запись. Увы, это небезопасно. «Бумажки» до сих пор являются самым лучшим способом хранения данных. У меня есть фотографии родственников начала ХХ в. и «бумажки» про них. А того, что записывалось на дискетах в начале 90-х, у меня практически нет. Дискеты сменились CD-дисками, диски исчезли, сменились флешками. Потом ещё раз изменился формат записи на флешку, и все данные много раз становились недоступны. Более того, если выключить электричество или уничтожат базу данных ЗАГСа,­ например, все эти данные станут недоступны. Я считаю, у человека должен быть выбор и право человека не идти в цифровой мир должно быть закреплено законом. К сожалению, такого закона пока нет.