Ученые обнаружили, что нейросети учатся лучше, если давать им "поспать"

«Человеческий мозг, напротив, учится последовательно и интегрирует новые данные в существующее знание, - сказал Максим Баженов, профессор медицины из Калифорнийского университета в Сан-Диего, - и обычно лучше всего учится, когда новые навыки перемежаются с периодами сна для консолидации памяти».

Баженов и его коллеги опубликовали статью, в которой описывают, как новые биологические модели могут способствовать снижению риска катастрофического забывания в нейросетях и повышению их эффективности в различных научно-исследовательских проектах, https://www.eurekalert.org/news-releases/971905 EurekAlert.

Ученые взяли за основу импульсные нейронные сети, которые имитируют естественные нейронные системы. Информация в них передается в виде дискретных событий, или импульсов, вместо того чтобы поступать непрерывно. Исследователи обнаружили, что благодаря периодам бездействия, которые имитировали сон, удается предотвратить процессы катастрофического забывания. Как и у людей, сон нейросети позволяет ей проиграть старые воспоминания, не используя в явной форме старые данные.

«Когда мы изучаем новую информацию, нейроны активируются в определенном порядке, это увеличивает синапсы между ними, - сказал Баженов. – Во время сна заученные во время бодрствования паттерны импульсов спонтанно воспроизводятся. Это называется реактивацией или повтором. Синаптическая пластичность, то есть способность к изменению или формированию, действует во время сна и может еще больше увеличить паттерны синаптического веса, которые образуют память, чтобы помочь предотвратить забывание или обеспечить перенос знания с старых на новые задачи».

Применив этот подход к искусственным нейросетям, ученым удалось защитить их от процесса катастрофического забывания. Это значит, что нейросети могут обучаться непрерывно, как люди или животные, но для этого нужно давать им отдыхать.

С середины прошлого века ученым известно, что фаза быстрого сна совпадает с этапом, когда возникают сновидения. Но смысл движения в этой фазе глазных яблок оставался загадкой и предметом дискуссий. Некоторые исследователи предполагали, что движения происходят для увлажнения век, другие выдвигали гипотезу о том, что глаза следят за происходящим во сне, но не могли ее доказать. Команда ученых из США нашла https://hightech.plus/2022/08/29/uchenie-raskrili-zagadku-dv... этой гипотезе.