Ученые Самарского университета им. Королёва разработали новую технологию увеличения точности цветопередачи цифровых камер
Ученые Института искусственного интеллекта Самарского университета им. Королёва разработали новую технологию увеличения точности цветопередачи цифровых камер. Работа выполнена совместно с коллегами из Москвы, Вюрцбурга (Германия) и Йорка (Канада). Для автоматической обработки получаемых с камеры изображений ученые впервые в мире применили сети Колмогорова-Арнольда (KAN) – это новый класс нейронных сетей, который позволил нейросетевым методам обойти классические по качеству обработки цвета.
Разработанная технология была протестирована на нескольких классах задач, связанных с обработкой цветных изображений. Результаты тестирования показали, что данная разработка, получившая название cmKAN, значительно превосходит различные методы улучшения цветопередачи, применяемые сейчас в мире производителями смартфонов и цифровых камер.
"В современном мире используется множество различных камер, так в современных смартфонах, как правило, используются три типа камер – телекамера, основная и широкоугольная. Разные камеры по-разному отображают цвет, при переходе между камерами цвета на снимках существенно различаются, более того, эти различия камер носят нелинейный характер, что затрудняет и восприятие, и автоматическую обработку изображений. Несмотря на впечатляющие успехи нейросетевых методов практически во всех сферах компьютерного зрения, точная обработка цвета до настоящего времени оставалась вотчиной классических алгоритмов. По всей видимости, это связано с высокой чувствительностью человеческого восприятия цвета, а также с тем, что современные нейростевые подходы недостаточно хорошо отрабатывают специфику преобразования цвета. Нам удалось преодолеть разрыв между классическими и нейросетевыми алгоритмами обработки цвета и разработать универсальный нейросетевой подход сопоставления цветов cmKAN, который позволяет более точно сравнивать и корректировать в автоматическом режиме цвета изображения. Процесс работы нейросети похож на этапы работы оператора программы цветовой коррекции, например, Photoshop или Lightroom. Оператор строит нелинейные кривые преобразования цветов и задает области их применения: так, на светлом небе правила преобразования цветов одни, в тени зданий другие, вблизи источников света – третьи. Наш подход работает схожим образом. Нам удалось теоретически показать, что сети Колмогорова-Арнольда максимально хорошо отражают нелинейные преобразования цвета, а параметры этих преобразований в разных частях изображения задаются сетью-генератором", – рассказал профессор Артем Никоноров, директор Института искусственного интеллекта и руководитель Центра "Интеллектуальная мобильность многофункциональных беспилотных авиационных систем" Самарского университета им. Королёва.
Сети Колмогорова-Арнольда (KAN) – это новый тип архитектуры нейронных сетей, он основан на теореме представления Колмогорова-Арнольда, разработанной советскими математиками Андреем Колмогоровым и Владимиром Арнольдом. Этот тип архитектуры нейросетей был разработан в 2024 году и может стать альтернативой для традиционных нейросетей MLP (многослойный перцептрон), широко используемых сейчас в системах компьютерного зрения и в больших языковых моделях.
Для обучения и тестирования cmKAN разработчики подготовили и опубликовали внушительный набор данных – Volga2K, содержащий более двух тысяч пар снимков с различных камер камер, в различных местах и условиях съемки.
Автор фото: Олеся Орина