ainews
Как снизить VRAM для MiniMax H3 с 15.7 до 4.5 ГБ без потери качества
Энтузиаст заменил 32B CLIP-энкодер MiniMax H3 на 4B-модель Qwen3-VL с линейной проекцией. VRAM упал с 15.7 до 4.5 ГБ, а генерация работает почти так же. Метод: ridge regression для обучения проекции между скрытыми состояниями моделей с общим токенизатором. Код открыт, работает в ComfyUI.
Это практический способ снизить требования к VRAM в три раза без переобучения модели. Если метод заработает на Flux 2 и других пайплайнах, порог входа для локального инференса упадёт, а хостинги сэкономят деньги на железе.
Что сделали
Разработчик NicoLab28 заменил стандартный CLIP-энкодер MiniMax H3 (Qwen3-VL-32B, 15.7 ГБ) на Qwen3-VL-4B с выученной линейной проекцией в то же 5120-мерное пространство. Итог: 4.5 ГБ вместо 15.7 ГБ в VRAM, DiT и VAE не трогаются, весь пайплайн остаётся тем же.
Как работает
Обе модели (4B и 32B) используют один токенизатор (151936 токенов). Одинаковый промпт превращается в одинаковую последовательность токенов. Задача: научить матрицу переводить скрытые состояния 4B в формат 32B. Метод — ridge regression: никаких градиентов, никаких эпох, просто накопить XᵀX и XᵀY на корпусе из 200–2000 промптов, решить за час на одной 3090.
Результаты: косинусная близость 0.71 (звучит плохо, но DiT это переваривает), CKA 0.92–0.95. Контрольные тесты с нулевой матрицей (prompt ignored) и identity-матрицей (огненный мусор) подтверждают, что обученная проекция действительно добавляет структуру, а не просто шум.
Что работает и что нет
✅ Простые промпты, мультишот-промпты (четыре сцены без смешивания), first+last frame conditioning, замена весов (bf16 → fp8).
❌ Терябся знание фактов: известные люди, бренды, достопримечательности — 4B хранит меньше информации, и никакая проекция не восстановит то, что модель никогда не видела. Ref2va не тестировалось. Линейная проекция на потолке — 8× больше данных дали +1.8% косинуса, дальше нужен MLP.
Бонус
Тот же Qwen3-VL умеет генерировать промпты для H3 из короткого описания и капшенить картинки — всё на тех же 4.5 ГБ. Автор попутно обнаружил баг в ComfyUI: SDClipModel.generate() теряет embeds_info, и image-токены попадают в линейные позиции вместо 3D mRoPE. Его нода восстанавливает полный путь.
Код MIT, нода для ComfyUI, матрицы на HuggingFace, обучающие скрипты в репозитории. Метод универсален: любая пара моделей с общим токенизатором (Flux 2, Ideogram4, JoyImage) — кандидат.
Автор: Юлия Тарасова · Источник: reddit.com
Разработчикам. Готовая нода для ComfyUI со всеми матрицами и скриптами калибровки. Ridge regression вместо градиентного спуска: час на 3090, никаких гиперпараметров. Можно адаптировать под Flux 2 (Mistral3-24B → меньшая версия), Ideogram4, JoyImage (Qwen3-VL-8B). Код MIT, работает из коробки.
Бизнесу. Трёхкратное сокращение VRAM открывает H3 для владельцев 3090/4070Ti вместо требования A100. Снижается порог входа для студий, фрилансеров, локальных деплоев. Метод переносится на другие пайплайны: любая дорогая CLIP-модель с меньшим сиблингом — кандидат на оптимизацию.
Инвесторам. Доказательство концепции: большие энкодеры можно заменять малыми с линейной проекцией без пересборки пайплайна. Если масштабируется на Flux 2, Ideogram, Krea — появляется паттерн снижения инфраструктурных затрат на инференс. Вопрос: насколько этот подход обобщается на модальности (аудио, 3D) и какие модели первыми внедрят нативно.
- Форкнуть ноду, добавить MLP-проекцию вместо линейной (автор говорит, что линейка на потолке), продать как premium-версию с +5% качества
- Обучить матрицы для Flux 2 (Mistral3-24B → меньшая версия), Ideogram4, JoyImage и выложить на HuggingFace — монетизация через Patreon/sponsorware
- Сделать SaaS для калибровки проекций: пользователь загружает пару моделей с общим токенизатором, получает готовую матрицу и ноду под ключ
- Упаковать метод в инструмент для локальных студий: автоматическая оптимизация любого пайплайна с заменой больших энкодеров на малые, продажа лицензий
- Написать туториал/курс по ridge regression для AI-оптимизации — ниша недооценена, спрос есть у разработчиков хостингов и edge-деплоев
- Потеря знаний о реальных людях, брендах, ориентирах — 4B не восстановит то, чего не видела. Для коммерческих задач с точными референсами метод может провалиться
- Ref2va не работает, linear projection на потолке — без MLP качество не растёт. Если клиенты требуют pixel-perfect, придётся возвращаться к 32B
- Метод требует общего токенизатора у моделей — ограничение на пары моделей. Если производители меняют токенизаторы, калибровка ломается
- Баг в ComfyUI с image tokens — если не фиксить, риск silent failures в продакшене. Нода восстанавливает путь, но это костыль, не гарантия стабильности
Я ожидал очередной хак с компромиссами, но здесь реально работает. Ridge regression — это не нейросеть, не градиенты, не эпохи. Взял корпус промптов, накопил статистику, решил систему уравнений за час. Результат: 4.5 ГБ вместо 15.7, видео генерируется, контрольные тесты подтверждают, что проекция добавляет структуру, а не просто noise. Косинус 0.71 звучит отвратительно, но DiT это переваривает — автор сам удивился.
Главный вопрос: как далеко это масштабируется. Если метод зайдёт на Flux 2, Ideogram4, JoyImage (все кандидаты с общими токенизаторами) — появится паттерн дешёвого edge-инференса. Риск: потеря знаний о фактах (люди, бренды, места) и потолок линейной проекции. Если клиенты требуют точных референсов, придётся возвращаться к 32B. Но для типовых задач это работает прямо сейчас, и код MIT.
Комментарии