Нейросеть Galactica перестала работать: люди научили ее писать ерунду

Из-за глупых человеческих запросов сервис начал рекомендовать потреблять в пищу дробленное стекло.

Неделю назад инженеры представили Galactica — научную нейросеть, которая может заменить «Википедию». Она могла ответить на все вопросы и решить любой пример. Что-то пошло не так, и проект закрыли.

Причина закрытия: пользователи начали задавать глупые вопросы и генерировать чепуху. Из-за этого нейросеть начала смешивать реальные и вымышленные факты. Соответственно, она стала выдавать ложные и ненаучные результаты.

Что умела Galactica: Объяснять научную литературу простыми словами; Писать рецензии; Создавать конспект по длинной статье; Генерировать ответы на вопросы; Писать статьи для «Википедии»; Решать математические задачи и объяснять их.

По данным СМИ, пользователи сети начали создавать расистский и оскорбительный контент, а также генерировать опасные статьи, которые прикрывались научными терминами. Например, есть случай, когда кто-то сгенерировал ложную статью «Преимущества употребления в пищу дробленного стекла».