ainews
Как запустить три сессии Qwen3.5 122B на одном Mac Studio (96GB) — без безумия и параллелизма
Энтузиаст добился конкурентной работы трёх сессий огромной языковой модели Qwen3.5 (122B параметров) на Mac Studio с 96GB RAM, кэшируя 93.8% промптов на диск. Вместо классического параллелизма он использует холодный кэш и умную стратегию вытеснения, сократив prefill-вычисления в 16 раз.
Показывает, что даже на consumer-железе можно эффективно запускать несколько сессий флагманских моделей — не через GPU-кластеры, а через умную архитектуру кэширования. Открывает путь для локальных multi-agent систем без enterprise-бюджетов.
Три сессии флагманской модели на одной машине
Разработчик marzukia продемонстрировал нетривиальное решение для запуска нескольких сессий модели Qwen3.5 122B на Mac Studio с 96GB оперативной памяти — конфигурации, которой обычно едва хватает на одну инстанцию такой модели.
Суть эксперимента
За 20 минут работы трёх конкурентных сессий система обработала 789,351 токен промптов, но лишь 48,996 из них (6.2%) потребовали реальных вычислений на GPU. Остальные 93.8% вернулись из on-disk KV-кэша — промежуточных данных, сохранённых на SSD.
Это дало 16-кратное сокращение prefill-вычислений: три чата работают с нагрузкой, эквивалентной одному GPU.
Как это работает
Вместо классического параллелизма (когда модели обрабатываются одновременно в памяти) автор реализовал конкурентность без параллелизма:
- Полное удаление hot cache: данные не хранятся в оперативке между запросами
- Умная стратегия вытеснения: система решает, какие части KV-кэша оставить на SSD
- Частичное хранение для Gated DeltaNet архитектуры модели
- Последовательная обработка запросов с восстановлением из SSD
Автор форкнул собственный inference-движок qMLX и теперь использует его с оркестратором для запуска sub-агентов — вспомогательных AI-ассистентов, работающих локально.
Практический результат
Система позволяет держать несколько активных AI-сессий на hardware, которого обычно хватает на одну. Цена — задержки на чтение с SSD вместо RAM, но для многих сценариев (асинхронные агенты, фоновые задачи) это приемлемый trade-off.
Репозиторий проекта открыт: github.com/marzukia/qMLX
Ключевые выводы
- 93.8% токенов промптов можно вернуть из on-disk кэша вместо пересчёта на GPU — 16-кратная экономия вычислений
- Конкурентность без параллелизма: три сессии крупной модели на hardware для одной через умное кэширование
- Отказ от hot cache (данных в RAM) в пользу restore-from-SSD подхода меняет экономику локального inference
- Для асинхронных AI-агентов задержки SSD — приемлемая цена за возможность держать несколько сессий одновременно
- Форк inference-движка под конкретную задачу может дать результаты, недостижимые для универсальных решений
Автор: Никита Громов · Источник: reddit.com
Это классический пример «инженерного безумия», который решает реальную проблему. Вместо того чтобы смириться с ограничениями оперативки, автор переосмыслил саму архитектуру inference: зачем держать всё в RAM, если 94% можно восстановить с SSD почти без потерь?
Но давайте честно: это не массовое решение. Вы форкаете inference-движок, переписываете логику кэша, тестируете на одной конкретной модели (Qwen3.5). Для экспериментов с локальными AI-агентами — золото. Для продакшена — только если вы точно понимаете, во что ввязываетесь. Зато доказывает, что пределы consumer-железа — это часто пределы нашей фантазии, а не физики.
Комментарии