Эксперт Макаров: одной из фундаментальных проблем ИИ является "забывание"

Публикации российских ученых составляют, по самым оптимистичным оценкам, менее 5% от всех работ по изучению ИИ, сообщил "Газете.Ru" руководитель исследовательской группы "ИИ в промышленности" Института искусственного интеллекта AIRI Илья Макаров, с которым удалось побеседовать в рамках Летней школы AIRI в образовательном центре "Сириус". По его словам, в России можно наблюдать технологическое отставание в области ИИ. О том, как его преодолевают, о таких фундаментальных проблемах искусственного интеллекта, как "забывание" и "обобщаемость", а также о малом количестве русскоязычных обучающих датасетов и проблемах подготовки кадров - в материале "Газеты.Ru".

- Есть такое понятие, как сильный и слабый ИИ. Чем они отличаются друг от друга?

- Сильного ИИ сейчас не существует, но на уровне концепции подразумевается, что он способен к самообучению, определению для себя целей и выбору средств для их достижения. Подразумевается, что сильный ИИ должен по когнитивным способностям быть на уровне человека, а с учетом технологических и вычислительных возможностей, даже превосходить его.

Текущий ИИ в основном решает конкретные задачи, все разноплановые. У вас есть в телефоне "умный" поиск, который по картинке с телефона может найти предмет, похожий на сумку, которую вы видите на экране смартфона своей подруги. Или у вас есть голосовой ассистент. Это тоже пример слабого ИИ.

- В чем сложность создания сильного ИИ?

- Многие говорят, что занимаются созданием сильного ИИ, но фундаментальные проблемы остаются нерешенными. Большинство моделей искусственного интеллекта основаны на нейронных сетях, у которых есть целый набор проблем.

Например, так называемое "катастрофическое забывание". ИИ забывают примеры, на которых учатся, не могут в точности выдать тот же самый результат. Есть еще проблема плохой обобщающей способности - нейросеть, обученная на одном датасете картинок, не может хорошо адаптироваться к другому датасету картинок, снятому в других условиях.

Представьте, у вас есть две функции, которые нужно оптимизировать. Вы хотите, например, чтобы объекты хорошо классифицировались, и еще чтобы они хорошо локализовались на картинке. Как обучать такую модель? Выбирая из двух зол, вы выбираете: "Я хочу, чтобы в среднем в сумме они давали минимальную ошибку". Но идеального баланса не существует, приходится выбирать и пока это делает человек.

Кроме того, существующие архитектуры и методы решения не позволяют научить ИИ ставить себе новые цели, достигать их и оценивать качество результата. Пока то, что мы реально можем делать - это самый слабый ИИ, который будет имитировать человека, может быть, даже что-то делать лучше, например, играть в шахматы.

Еще один момент – ограниченный доступ к высокопроизводительным вычислительным ресурсам, отсутствие квантового компьютера и ограничения по принципам работы суперкомпьютеров. Для понимания, стоимость обучения полноценной модели, которая может обыграть человека в StarCraft, где-то $30 млн. Как вы понимаете, обычный исследователь не в состоянии получить доступ к обучению такой модели, а в случае больших языковых моделей, то даже и к запуску обученной модели из открытых источников.

- Из чего складывается такая стоимость обучения?

- Это ресурсы на облачные вычисления. Не только железо, но и необходимость построить кластер, дополнительное программное обеспечение, которое позволяет распараллелить вычисления, сделать их эффективными.

Последняя модель, которую сейчас китайцы хотят выложить, насколько я помню, с более чем 100 трлн параметров - это астрономическая сумма для обучения нейронных сетей на 90 тыс. видеокарт, и писалось отдельное программное обеспечение, чтобы просто наладить весь этот комплекс кластеров. Это требует огромных вложений ресурсов, требует возможности производить процессоры, которые адаптируются под обучение нейронных сетей, и иметь еще навыки для того, чтобы это все связывать в единое программное обеспечение, которое интегрируется современными моделями.

- Сколько примерно гигабайт данных нужно, чтобы обучить самую простую нейросеть?

- Обычно измеряются данные не в гигабайтах, а в количествах тех же изображений или сэмплов для обучения. Например, чтобы распознавать десять цифр рукописных, нужно очень мало данных. В целом 10 рукописных цифр можно распознать на 1000 изображений.

В большинстве случаев подразумевается, что для того, чтобы нейросеть работала нормально, вам нужно иметь сбалансированную выборку данных, и чем они вариативнее, тем лучше.

Например, мы хотим, чтобы нейросеть определяла по губам, что я говорю и как. Тогда нам нужно большое количество данных с условиями освещения. А если я буду в очках, что произойдет? Если нейросеть никогда меня в очках не видела, она эмоции, которые я передаю, не распознает - ей неоткуда взять эту информацию, соответственно, мы не можем гарантировать, что она будет правильно работать.

- Много ли существует русскоязычных датасетов?

- Их гораздо меньше, чем на английском.

Все же основные публикации сейчас делаются в англоязычных странах. Работы российских ученых составляют, по самым оптимистичным оценкам, меньше 5% от мирового числа публикаций в ведущих конференциях и журналах по искусственному интеллекту.

На практике я бы сказал, что количество русскоязычных датасетов тоже менее 5%.

- В связи с недостатком русскоязычных датасетов, возникают ли проблемы с обучением нейросетей в России?

- Это не проблема, это называется технологическое отставание. Недавно исследовательские группы внутри Сбера и "Яндекса" выложили русскоязычные языковые модели, и это существенный шаг вперед, потому что до этого у нас были только большие англоязычные модели, приходилось их дообучать на русский язык.

- Вы работали над моделью, которая предсказала развитие персонажей в серии книг о "Звездных войнах". Можете о ней рассказать?

- Да, была такая статья. Мы даже не предсказывали, а больше анализировали книги. Мне нравятся "Звездные войны", поэтому я, кажется, прочитал все книжки, которые переводились на русский. Что меня в свое время поразило - все сценарии написаны более или менее под копирку.

Мы научились извлекать граф персонажей - самих персонажей из книги, то как они встречаются в книге, как друг с другом взаимодействуют, насколько часто. Дальше то же самое делалось относительно локаций - привязывали действия персонажей к локации.

Построив такой мультимодальный граф, можно извлекать статистику и кластеризовывать книги. В целом, это некоторый задел на то, что нейросеть может целиком создать сценарий для фильма или книгу, не без помощи человека, конечно.

Генерация сюжетов, произведений для фильмов - за этим тоже будущее. Я не разделяю мнение общественности, что развитие ИИ не приведет к изменению ситуации на рынке труда. Творческие профессии в каком-то смысле будут вынуждены трансформироваться.

Например, уже есть нейросеть, которая может в стиле Ван Гога раскрасить вашу собачку. То же самое будет происходить с литературой. Ее и так слишком много, люди перестают все читать, очень большая конкуренция в этой области. Когда туда придет компьютер, люди должны будут учиться работать с ним и пользоваться им как инструментом.

Недавно группа исследователей AGI NLP из SberDevices под руководством Татьяны Шавриной приняла участие в создании книги, в которой половина рассказов написана человеком, а половина - нейросетью. При этом люди, читая книгу, путают человека и машину, не могут отличить, кто писал тот или иной рассказ. Грубо говоря, нейросеть проходит тест Тьюринга - неотличимость от человека. Это прекрасно для разработчиков, и потенциально – вызов для авторов.

- Мы сейчас говорим о слабом интеллекте? Сильный искусственный интеллект тогда сможет заменить Стивена Кинга?

- В целом да. Слабый тоже может заменить Стивена Кинга. Что он не сможет сделать, это создать какую-то личность, но он сможет сымитировать его стиль изложения. Создать бренд для цифрового аватара – то, чем сейчас активно занимаются специалисты в цифровом маркетинге.

- Какими исследованиями вы еще занимаетесь?

- У нас есть несколько проектов, которые посвящены различным аспектам использования ИИ в промышленности. Наверное, самый интересный проект с точки зрения промышленности, это цифровые двойники. Я расскажу про два конкретных кейса, на которых мы сфокусированы.

Первый из них - поиск и предсказание разладок в химических процессах на заводе по переработке сырья. Есть огромное количество сенсоров, которые описывают процессы производства. Это датчики температуры, давления и им подобные. Имея представление о нормальном производственном процессе, можно предсказывать аномальные состояния, размечать эти аномальные состояния, предсказывать их чисто по сенсорным данным.

В некоторых случаях это можно делать даже предиктивно - ты можешь предсказывать, что через столько-то тактов измерений у тебя произойдет отклонение в сторону. Вот это и делает наш ИИ.

Второй кейс - "светофор", или индикатор здоровья оборудования. У оборудования есть износ, и подразумевается, что оборудование какое-то время должно работать нормально, а потом может начать барахлить или отклоняться от плановых показателей работы. Формулируется задача - оценивать состояние этого оборудования, его "здоровье".

Зеленая зона - все хорошо, прибор работает в штатном режиме. Желтая - есть некоторые тренды в сторону аномального поведения, возможно, прибор нужно остановить, разобрать, смазать маслом, провести техническое обслуживание, и дальше он вернется в зеленую зону. Красная зона, когда есть явное предсказание того, что произойдет поломка или явное отклонение в производительности, например, снижение на 20% скорости относительно номинальной или заданной. Все эти показатели можно предсказывать по данным оборудования, которые собираются с различных сенсоров.

Если вы видели пульты управления сложными технологическими стеками, вы понимаете, что там огромное количество индикаторов, кнопок. Я могу только восхищаться людьми, которые работают в таких центрах управления, но нужно понимать, что если вы им позволите фокусировать внимание на реальных проблемах, будете объяснять, что происходит, они будут принимать решения более эффективно. От этого выиграет и компания, и разработчики ИИ порадуются тому, что наконец искусственный интеллект служит во благо промышленности.

- Эти две модели можно адаптировать под любой вид производства, или они нацелены только на какой-то конкретный?

- Да, под любое производство, где есть сенсоры, которые описывают состояние процесса и которых достаточно для моделирования. Если будет только датчик температуры, то мы мало что сможем сделать. Но в целом этот подход универсальный. Он требует донастройки в каждом конкретном кейсе, когда мы говорим о внедрении, но все-таки это универсальные методы.

- Сколько примерно будет стоить внедрение такого ИИ на производство? - Мы как институт являемся некоммерческой организацией, занимаемся в большей степени исследованиями и некоммерческим консалтингом внедрения. Если говорить о внешнем опыте, обычно проекты по внедрению и тестированию систем могут стоить от нескольких десятков миллионов рублей до существенно больших сумм, когда рассматривается полный цикл интеграции.

- Что вы скажете о наличии квалифицированных кадров в России? Много ли дата-сайентистов?

- В целом, университетское образование даже в большинстве ведущих вузов отстает от темпов, которыми нужно обучать студентов, чтобы они могли работать хотя бы не на начальных позициях. Студент на выпуске не только не готов и не умеет писать код в продакшене, но еще по многим программам отстает от бурного развития науки.

Сейчас время, когда по машинному обучению невозможно привести учебник, прочитав который, как в школе, выучив какой-то материал, ты можешь считаться специалистом. Тебе нужно постоянно читать статьи, постоянно совершенствоваться, чтобы быть в тренде. Если ты год ничего не делал, ты морально устарел, и твои навыки и умения не котируются на рынке.

В этом плане индустриальные академии, которые запускают крупные компании, готовят специалистов, которые могут работать сразу после выпуска, у которых есть практические и теоретические навыки. На базе вуза с фиксированной программой, редкой аккредитации и медленным процессом внесения изменений в образовательную программу, это сделать практически нереально. В основном все делается на личном энтузиазме отдельных руководителей и преподавателей.

- Я правильно понимаю, что мало того, что у нас в принципе программ, которые готовят таких специалистов, мало, так еще выпускников из вузов нужно доучивать?

- Компании хотят брать готовых к работе людей, и часто они просто делают выбор в пользу тех, у кого есть опыт, кто самостоятельно изучал, больше делал.

Человек, который отлично отучился в вузе, скорее всего, без стажировки, без начального опыта не сможет попасть на хорошую позицию. Я бы не говорил, что совсем все плохо, но недостатки есть, каждому специалисту нужно с чего-то начинать.

На Летнюю школу по ИИ, которую мы проводим для студентов и аспирантов, подало заявки более 900 человек со всей страны. Молодежь стремится к развитию своих умений и хочет быть конкурентной как можно скорее. Этому и должны способствовать ведущие образовательные и научные центры.