Российский ученый разработал новую архитектуру нейронной сети

Российский ученый разработал новую архитектуру нейронной сети и испытал ее обучаемость на распознавании рукописных цифр. Интеллект сети усиливался за счет хаоса, а точность классификации достигала 96,3%. Ее можно будет использовать в микроконтроллерах с маленьким объемом оперативной памяти и внедрять в такие бытовые вещи как обувь или холодильники, делая их "умными". Работа опубликована в журнале Electronics. Исследование поддержано Российским научным фондом (РНФ).

Сегодня стремительно развивается направление нейронных сетей и Интернета вещей (объединения разных устройств в одну общую сеть). Особую важность обретает поиск новых нейронных сетей, которые способны работать на микроконтроллерах (микросхемах, предназначенных для управления электронными устройствами) с небольшим объемом оперативной памяти, например, несколько десятков килобайт. Для сравнения: у обычных современных компьютеров она исчисляется гигабайтами. Такие микроконтроллеры обладают значительно меньшей вычислительной мощностью, чем ноутбуки и смартфоны, но и меньшими габаритами, что позволяет сопрягать их с бытовыми вещами и наделять "интеллектом". Умные двери, холодильники, обувь, очки, чайники и кофеварки создают основу для так называемого окружающего интеллекта (Ambient intelligence). Это термин, который обозначает среду из связанных между собой умных устройств вокруг человека. Ее примером может быть умный дом. На устройствах с ограниченной памятью невозможно хранение большого количества ключей для безопасной передачи данных, а также массивов настроек нейронной сети, что мешает внедрению в Интернет вещей искусственного интеллекта, так как таким предметам не хватит вычислительных мощностей. В то же время искусственный интеллект позволил бы умным устройствам тратить на анализ и принятие решения значительно меньше времени, лучше понимать человека и помогать ему в более комфортной форме. Возникло бы множество новых возможностей в создании окружающего интеллекта, например, в области здравоохранения.

Российский ученый из Петрозаводского государственного университета создал новую архитектуру нейронной сети, которая позволяет экономно использовать небольшие объемы оперативной памяти и открывает перспективы для внедрения маломощных устройств в Интернет вещей. Она получила название LogNNet. Эта нейронная сеть прямого распространения, то есть сигналы в ней направлены исключительно от входа к выходу. Главная ее особенность заключается в том, что используются детерминированные хаотические фильтры для входящих сигналов, то есть система пытается хаотически перемешать входную информацию, но при этом извлекает из информации ценные данные, невидимые изначально. Подобный механизм используют резервуарные нейронные сети. Для генерации хаоса применена простая формула логистического отображения, в которой последующее значение вычисляется на основе предыдущего. Ее обычно применяют в популяционной биологии, а также как пример несложного уравнения для вычисления последовательности хаотических значений. Получается, что это простое уравнение хранит в себе бесконечный набор случайных чисел, вычисляемых процессором, а архитектура сети использует их, и, таким образом, потребляет меньше оперативной памяти.

Ученый испытал свою нейронную сеть на распознавании рукописных цифр с помощью базы данных MNIST, которая считается стандартом для обучения нейросетей. В ней более 70 тысяч написанных от руки цифр. Из них 60 тысяч предназначены для обучения нейронной сети, а еще 10 тысяч — для тестирования. Чем больше нейронов было в сети и чем сильнее хаос, тем лучше она опознавала изображения. Максимальная точность, которой удалось добиться ученому, составила 96,3%. При этом разработанная архитектура использует не больше 29 кБ оперативной памяти. LogNNet также продемонстрировала хорошие результаты при очень малых размерах оперативной памяти, порядка 1-2кБ. Примерно таким же объемом памяти обладает миниатюрный контроллер Atmega328, умещающийся на подушечке пальца и которым можно оснастить умную дверь или даже умную стельку.

"Благодаря этой разработке открываются новые перспективы развития интернета вещей, так как любое устройство, оснащенное маломощным миниатюрным контроллером, сможет обладать искусственным интеллектом. Таким образом, появляется возможность интеллектуальной обработки информации на периферийных устройствах без отправки данных в облачные сервисы, что улучшает работу, например умного дома. Это важный вклад в развитие технологий Интернета вещей, которыми активно занимаются наши ученые. Кроме того, в работе намечен альтернативный путь исследования влияния хаоса на искусственный интеллект", — прокомментировал Андрей Величко, руководитель проекта по гранту РНФ, кандидат физико-математических наук, заведующий учебно-научной лабораторией по разработке электронной компонентной базы на основе микро- и наноструктур Петрозаводского государственного университета.