Исследователи из Rice University представили метод NoiseShift (2025), направленный на решение давней проблемы диффузионных моделей.

Проблема
Современные генераторы (Stable Diffusion 3/3.5, Flux) обучаются на фиксированном разрешении, обычно 1024×1024. При попытке сгенерировать изображение меньшего размера (128×128 или 256×256) качество заметно падает: детали теряются, структура искажается, появляются артефакты.

Причина в том, что один и тот же уровень шума по-разному воздействует на изображения разного размера: на низком разрешении сигнал разрушается быстрее.

Решение — NoiseShift
Метод корректирует уровень шума во время инференса с учётом целевого разрешения. Это не требует обучения, изменений архитектуры или изменения расписания шагов. По сути, NoiseShift «перекалибровывает» восприятие шума моделью, устраняя рассогласование между тренировкой и генерацией.

Результаты

Stable Diffusion 3.5: улучшение FID на низких разрешениях до +15.9% (LAION-COCO), +10.3% (CelebA).

Stable Diffusion 3: до +8.5% и +5.2% соответственно.

Flux-Dev: рост качества до +4.8% даже на 64×64.
Важно, что на 1024×1024 показатели остаются неизменными.

Зачем это нужно
NoiseShift делает низкое разрешение снова эффективным инструментом:

для мобильных и веб-сценариев,
быстрого прототипирования,
генерации миллионов изображений, где high-res избыточен.

В исследовании показано: корректная работа с шумом — ключ к масштабируемости диффузионных моделей.

Напоминаем, что в ИИ Студии AI Wiz вы можете протестировать Stable Diffusion и Flux на практике, в том числе в разных сценариях разрешения.

#AiWiz #NoiseShift #Diffusion #StableDiffusion #flux