Машинное обучение оказалось в пять раз вреднее автомобиля

Ученые Массачусетского университета в Амхерсте проверили, сколько энергии требуется передовым моделям машинного обучения и сколько углекислого газа они вырабатывают в процессе совершенствования своих навыков. Оказалось, что обучение ИИ намного вреднее, чем производство и эксплуатация автомобиля.

Тысячи ученых из разных стран и сотен компаний трудятся над созданием цифрового аналога человеческого мозга — искусственного интеллекта (ИИ). Такая идея появилась еще в 1956 году, однако создать полноценный ИИ, который был бы способен самостоятельно обучаться и выполнять большой перечень сложных задач, пока никому не удалось. Даже несмотря на значительный технологический прогресс, который позволяет сегодня машинам анализировать терабайты данных на высоких скоростях.

Для выполнения задачи ученым, очевидно, понадобятся еще большие мощности. Однако, как следует из научной публикации ученых Массачусетского университета в Амхерсте, уже сейчас процесс создания ИИ сопряжен с серьезным ущербом окружающей среде.

В своей работе сотрудники колледжа информатики и компьютерных наук изучили работу четырех самых продвинутых программ машинного обучения на нейронных сетях, которые появились в последние годы и сосредоточены на распознавании естественных языков.

Эти программы достигли хороших результатов в машинном переводе, тестах на завершение предложений и в других типичных для этого направления испытаниях. В итоге в подборку были включены Transformer, ELMo, BERT и GPT-2.

Ученые из Массачусетского университета запустили каждую из этих программ на одном графическом процессоре, чтобы выяснить, сколько мощности они потребляют. Затем из технических документаций моделей в расчет было взято количество часов, которое понадобились каждой отдельной программе для обучения, что позволило подсчитать общий объем потребляемой ими энергии.

Исходя из этого ученые смогли приблизительно подсчитать, сколько углекислого газа вырабатывает каждая из изученных моделей ИИ.

Так, базовая модель transformer выделяет всего 11,8 кг эквивалента углекислого газа (рассчитывался на базе средней структуры энергопотребления в США). Обучение той же программы при помощи нейронных сетей и с большим набором параметров выделяет в пять раз больше эквивалента CO2, чем в среднем один автомобиль в США за весь свой срок службы.

Причем в случае с автомобилем в расчет брались и вредные выбросы, производимые автомобильным заводом при создании машины. Так, эквивалентный объем выбросов углекислого газа от автомобиля составляет 57,15 тыс. кг, а модель Transformer с использованием нейронной сети для обучения — 284 тыс. кг.

И это только начальные показатели, отмечают авторы доклада.

«Тренировка одной модели — это минимальный объем работы, который вам необходимо проделать, — пояснила Эмма Страбелл, ведущий автор исследования. — На практике куда более вероятно, что исследователи искусственного интеллекта будут разрабатывать после этого новую модель с нуля или же адаптировать существующую модель под новый набор данных. И то, и другое потребует множества дополнительных сессий тренировки и настроек». А значит, реальные показатели вредных выбросов в атмосферу от работающей модели ИИ окажутся в несколько раз больше.