Stereo2Spatial: AI-модель превращает обычную музыку в объёмный бинауральный звук
Независимый разработчик выпустил open-source модель, которая конвертирует стереотреки в пространственный звук (binaural/7.1.4). Проект прошёл путь от работы с латентами VAE до прямого моделирования звуковых волн. Ключевая проблема — нестабильность обучения на сырых волнах — решена техникой amplitude lifting из недавней работы WavFlow. Модель обучалась 20 дней на 2×A6000 на 7669 треках.
Первая публично доступная open-source модель качественной конвертации стерео в spatial audio. Снижает порог входа для экспериментов с пространственным звуком и показывает практические решения проблем обучения аудио-моделей на сырых волнах.
Как один разработчик научил AI превращать стерео в объёмный звук
Независимый ML-инженер Francis Labounty выпустил Stereo2Spatial — модель для конвертации обычных стереотреков в пространственный бинауральный звук. Проект развивался полгода и прошёл через несколько итераций архитектуры.
От латентов к сырым волнам
Первая версия использовала flow-matching диффузию в латентном пространстве отдельно обученного VAE (EAR-VAE). Подход вдохновлён работой ImmersiveFlow, но автор добавил механизм переноса состояния (memory tokens) между окнами для стабильной генерации длинных треков.
Однако VAE, обученный на стерео, плохо справлялся с отдельными каналами 7.1.4 микса — возникли качественные проблемы. Разработчик переключился на моделирование сырых звуковых волн, что решило проблему качества, но породило новую: обучение стабильно шло до 60-80К шагов, а затем терялась устойчивость и loss взлетал.
Критический прорыв: amplitude lifting
Перелом случился после знакомства с работой WavFlow, где авторы столкнулись с той же проблемой. Решение — amplitude lifting: нормализация каждого трека до RMS 0.33 с последующим умножением на 3. Автор модифицировал подход, используя clip 4.0 вместо 1.0 (пространство модели -12..12 против -3..3), что улучшило бинауральный вывод.
После внедрения этой техники проблемы стабильности исчезли.
Технические детали
- Обучение: 20 дней на 2×A6000, 7669 треков
- Двухэтапная схема: 10 дней на коротких последовательностях (10-34 сек), 10 дней на длинных (122 сек)
- Batch size: 16 (эффективный)
- Поддержка mix-style conditioning для управляемых выходов
- Текущая версия: прямой бинауральный вывод (7.1.4 планируется при доступе к большим мощностям)
Открытый релиз
Всё опубликовано под Apache 2.0: - Веса моделей на HuggingFace (waveform и latent версии) - Кодовая база для обучения/инференса - Desktop-приложение для Windows - Плейлист примеров генераций на YouTube
Проект показывает, как методичная инженерия и внимание к деталям (вроде amplitude lifting) могут решить фундаментальные проблемы обучения.
Ключевые выводы
- Flow-matching диффузия в латентном пространстве VAE столкнулась с проблемой out-of-distribution при работе с многоканальным аудио
- Моделирование сырых аудиоволн дало лучшее качество, но потребовало решения проблемы нестабильности обучения
- Техника amplitude lifting из WavFlow (с модификацией clip 4.0 вместо 1.0) критически важна для стабильного обучения на waveforms
- Memory tokens для переноса состояния между окнами обеспечивают связность при генерации длинных треков
- Проект демонстрирует путь от идеи до production-ready решения: итеративная разработка, изучение смежных работ, адаптация техник
Автор: Анна Мельникова · Источник: reddit.com
**Это образцовый ML-проект, который хочется показывать джунам как пример правильного подхода.** Автор не просто взял готовую архитектуру — он методично прошёл путь от концепта (латентная диффузия) через проблемы качества к радикальному pivot на waveforms, столкнулся с новой бедой (нестабильность обучения), не паниковал, а систематически тестировал гипотезы (grad clipping, learning rates), нашёл в свежей работе WavFlow решающую технику (amplitude lifting), модифицировал её под свою задачу — и получил стабильную модель.
Что особенно ценно: **релиз под Apache 2.0 со всей инфраструктурой** (веса, код, десктопное приложение, кейс-стади). Не «скоро выложим», не «по запросу», а всё сразу и сейчас. По сути, это готовый фундамент для всех, кто хочет работать со spatial audio или изучать обучение моделей на сырых аудиоволнах. Вопрос качества финального результата остаётся открытым (надо слушать примеры), но инженерная честность и открытость вызывают уважение.
Комментарии