ИИ научился изолировать звуки конкретных инструментов на музыкальных представлениях

Учёные из Массачусетского института технологий научили искусственный интеллект распознавать звуки конкретных музыкальных инструментов и изолировать их от других. На данный момент технология определяет звучание только 20 инструментов и справляется со своей задачей не всегда хорошо, но она всё равно поражает.

Учёные внедрили искусственный интеллект в специально созданную программу под названием PixelPlayer. Приложение анализирует видеозапись и визуально отображает звуковые волны каждого из распознанных инструментов. Пользователю достаточно кликнуть на определённый музыкальный инструмент, чтобы услышать исходящие из него звуки. Помимо этого, PixelPlayer может регулировать громкость каждого из идентифицированных инструментов: например, сделать звучание пианино тише, а гитары — громче. Демонстрация всего этого доступна в видеозаписи выше.

На данный момент технология далека от совершенства, поскольку она относительно хорошо распознаёт звуки только кардинально разных инструментов. Искусственный интеллект обучался идентифицировать звучание инструментов на видеозаписях общей продолжительностью более 60 часов. Остаётся надеяться, что разработчики продолжат развивать PixelPlayer и в будущем его функции дорастут до коммерческого уровня.