ainews
MLVC: нейрокодек, который наконец работает на разных чипах без сбоев
Исследователи создали MLVC — нейронный видеокодек, который реально работает на разных NPU (Apple, Intel и др.) без поломок потока. Фокус в обходе проблемы несовместимости: параметры энтропийной модели передаются явно, а не вычисляются локально. Работает 100 FPS на 360p/540p на обычном железе.
Впервые нейрокодек готов к реальному использованию, а не только к статьям. Если вы работаете с видео (стриминг, хранение, передача), это шанс снизить затраты на 30-40% и обогнать конкурентов.
Проблема: нейронные кодеки теоретически круче h.264/h.265, но на практике не работают — разные NPU (Apple M3, Intel, Qualcomm) считают по-разному. Малейшая погрешность ломает декодирование энтропии, и весь поток разваливается. Квантизация в INT8 не помогает: железо симулирует INT8 через FP16, режимы округления не контролируются, битовая точность недостижима.
Решение MLVC: вместо надежды на одинаковые вычисления исследователи передают параметры энтропийной модели (scale parameters) через гиперприор — явно в потоке данных. Нейросеть не обязана работать битово одинаково на всех чипах, главное — общая договорённость о модели.
Результат: ~100 FPS на 360p/540p на потребительских NPU, кросс-платформенность без сбоев. Первый нейрокодек, который можно реально развернуть в продакшене без танцев с бубном. Код и статья в открытом доступе.
Автор: Анна Мельникова · Источник: reddit.com
Разработчикам. Готовый кросс-платформенный нейрокодек с открытым кодом, работает на Apple/Intel NPU без настройки железа. Можно интегрировать в стриминг или видеохостинг вместо h.264 — ниже битрейт при том же качестве. API прозрачный, 100 FPS на средних разрешениях.
Бизнесу. Сжатие видео дешевле = меньше CDN-расходов для стримингов, YouTube-аналогов, видеозвонков. MLVC снижает битрейт без потери качества, работает на массовом железе. Окно для стартапов в видеоинфраструктуре, пока гиганты не переключились.
Инвесторам. Рынок видеокодеков $2+ млрд, h.264/h.265 держатся на патентах и legacy. Нейрокодеки — следующая волна, но до MLVC никто не решил кросс-платформенность. Потенциал: лицензирование для CDN, облачные видеосервисы, live-streaming. Риск: патентные войны и сопротивление индустрии.
- Видеохостинг/CDN с нейрокодеком: экономия ~30% трафика, продавать как «зелёный стриминг» (меньше энергии)
- SDK для видеозвонков (Zoom/Meet-альтернативы): лучше качество на слабом интернете, маркетинг на AI
- B2B SaaS: сжатие архивов видеонаблюдения/медицинских снимков — продажа в корпорации, где терабайты данных
- Open-source инструмент с премиум поддержкой: community edition бесплатно, enterprise с SLA
- Патентный пул: лицензировать технологию производителям железа (Apple, Qualcomm) для встраивания в чипы
- Патентные войны: MPEG-LA может судиться, если кодек станет популярным
- Индустрия консервативна: внедрение нового кодека = годы стандартизации и переговоров
- NPU-фрагментация растёт: завтра выйдет новое железо, и совместимость снова сломается
- h.266/VVC уже выходит: традиционные кодеки тоже эволюционируют, окно возможностей узкое
Честно, это один из тех редких случаев, когда исследование сразу применимо. Обычно нейрокодеки — это красивые графики в статьях и 0% шансов увидеть их в Firefox. Здесь же авторы взяли реальную боль (NPU считают по-разному, поток разваливается) и решили её не костылём, а архитектурно: параметры модели передаются явно, а не вычисляются локально.
Другое дело, что индустрия видеокодеков — это болото патентов, стандартов и многолетних циклов внедрения. Даже если MLVC технически лучше, путь от GitHub до YouTube займёт годы. Но для стартапов и нишевых CDN это золото: меньше трафика = меньше расходов, а открытый код снимает барьер входа. Следите за этим проектом — если команда не забросит его через полгода, это может стать первым массовым AI-кодеком.
Комментарии