12 июня 2025 года международная команда исследователей из Университета Ухань (Китай), Bang&Olufsen (Дания) и Принстонского университета (США) опубликовала исследование (https://arxiv.org/abs/2506.10754) «BNMusic: Blending Environmental Noises into Personalized Music».

Помните то чувство, когда едешь в метро, а звук колёс по рельсам буквально сверлит мозг? Или когда соседская стиральная машина работает как отбойный молоток?

Исследователи решили эту проблему нестандартно — они научили ИИ не глушить шум, а превращать его в персональную музыку

Проблема, которую решали
Традиционные методы шумоподавления работают только индивидуально — нужны наушники с активным шумоподавлением (ANC). Но что делать в общественных местах, где сотни людей одновременно?

Большинство решений в виде обычного акустического маскирования:
— требуют чрезмерной громкости для эффективности,
— создают конфликт между маскирующим звуком и шумом,
— не учитывают ритмические особенности окружающих звуков.

Что предложили?
Модель BNMusic работает по принципу "если не можешь победить — возглавь":

Анализирует ритм шума — находит в нём музыкальные паттерны

Генерирует музыку по текстовому запросу — но синхронизированную с этим ритмом

Создаёт гармоничное смешивание — шум органично вплетается в мелодию

Фишка в том, что система работает не через наушники, а создаёт общую звуковую среду для всех людей в помещении.

Как это устроено? Два этапа работы:

Этап 1: Синтез музыки, выровненной по шуму
— Riffusion (модифицированная Stable Diffusion) превращает аудио в мел-спектрограммы

— ИИ применяет двухступенчатый процесс: сначала "дорисовывает" музыку вокруг ключевых областей шума (outpainting), затем заполняет центральные участки (inpainting)

— Результат: музыка ритмически синхронизирована с шумом

Этап 2: Адаптивное усиление
— Система рассчитывает психоакустические пороги маскирования (21-28 дБ)

— Специальный алгоритм подбирает оптимальную громкость через градиентный спуск

— Цель: максимальное маскирование при комфортном уровне звука

Что получилось?
Модель тестировали на масштабных датасетах:
EPIC-SOUNDS (1,000 сегментов), ESC-50 (300 сегментов) и MusicBench (5,000 музыкальных клипов)

BNMusic показала:
Лучшие объективные показатели — FAD = 7.98, KL = 1.67 (превзошла все baseline методы)
Высокие субъективные оценки — качество 3.67/5 против 2.93 у обычной музыки
Снижение восприятия шума на 40% при сохранении приятного звучания

Что важно? Система научилась:
Извлекать ритмические паттерны из хаотичных шумов
Генерировать персонализированную музыку по текстовым описаниям пользователя
Создавать органичное слияние шума и музыки без конфликтов

Перспективы применения
Пока что система работает не в реальном времени (генерация занимает ~5 секунд), но для повторяющихся шумов можно записать "саундтрек" заранее:

Общественный транспорт — персональные плейлисты для каждой линии метро

Офисы и торговые центры — адаптивная фоновая музыка

Это исследование — шаг к следующему поколению акустического комфорта, где ИИ не борется с шумом, а делает его частью приятной звуковой среды.

BNMusic доказывает: иногда лучший способ решить проблему — превратить её в возможность

#AIWiz #ИскусственныйИнтеллект #Музыка #технологии