MacBook на 2-битной квантизации обогнал два DGX Spark с DeepSeek-V4-Flash
Энтузиаст прогнал DeepSeek-V4-Flash на 89 реальных задачах в Terminal-Bench 2.1: агрессивно сжатая 2-битная версия на MacBook M5 Max (128 ГБ) решила 54% задач, а пара DGX Spark с нативными FP8-весами — 52%. Разница статистически незначима, но факт сам по себе удивляет: тяжёлая квантизация почти не убила точность.
Это первый публичный тест, где тяжёлая квантизация на потребительском железе практически не уступила серверному инференсу в реальных задачах. Если паттерн подтвердится на других моделях, запуск frontier LLM локально станет дешевле и доступнее.
Квантизация vs железо: неожиданное равенство
Разработчик провёл эксперимент, запустив DeepSeek-V4-Flash на Terminal-Bench 2.1 — 89 практических задач, где агент работает в реальном шелле: чинит репозитории, восстанавливает базы, компилирует расширения, взламывает хеши.
На одной стороне — MacBook M5 Max с 128 ГБ памяти и агрессивно квантизованной GGUF-версией модели (80.8 ГиБ, ~2.45 бита на вес). Большинство экспертов сжаты до IQ2_XXS/Q2_K, критичные тензоры оставлены в Q8/F16/F32. KV-кеш хранится на диске, контекст ограничен 100K токенами.
На другой — два DGX Spark GB10 с прямым 200G-линком, нативные FP8-веса, FP4 для роутеров экспертов (~167 ГБ), спекулятивное декодирование DSpark на 3 черновых токена, окно 262K (200K для агента).
Результаты: - MacBook: 47 из 87 задач (54%) - Два Spark: 45 из 86 задач (52.3%)
Из 86 общих задач системы согласились в 66 случаях (36 решённых + 30 провальных). В оставшихся 20 MacBook выиграл 11 раз, Spark — 9. Парный тест МакНемара даёт p = 0.82 — статистически различия незначимы.
Что это значит?
Спарка даёт скорость (54–58 tok/s, 253 tok/s на 8 потоках) и головную комнату (262K контекст). MacBook медленнее, но финальное качество удивительно близко.
Автор честно предупреждает: это не чистый ablation-тест квантизации. Разные рантаймы (DwarfStar vs vLLM), KV-форматы, лимиты контекста, один прогон без error bars. Но факт остаётся фактом: на бинарном pass/fail метрике тяжёлая квантизация не убила модель.
Размер на диске сократился примерно в 2× раза (167 ГБ → 80.8 ГиБ), а не в 4×, как можно было бы ожидать от FP8→2bit-перехода.
Ключевые выводы
- 2-битная квантизация DeepSeek-V4-Flash на MacBook дала 54% точность против 52% на двух DGX Spark с нативными FP8-весами — разница статистически незначима
- Агрессивное сжатие не убило модель на практических задачах (шелл-задачи, компиляция, восстановление баз), хотя это не чистый ablation-тест
- Реальный выигрыш в размере ~2× (167 ГБ → 80.8 ГиБ), не 4×, из-за сохранения критичных тензоров в высоком разрешении
- Два DGX Spark дают скорость (54–58 tok/s, 253 tok/s на 8 потоках) и большой контекст (262K), но не качество — MacBook «медленно, но справляется»
- Бинарная метрика pass/fail может скрывать деградацию в качестве рассуждений, времени решения и промежуточных шагов
Автор: Ксения Лаврова · Источник: reddit.com
Это тот редкий случай, когда энтузиаст с ноутбуком публикует результаты, которые стоило бы увидеть в официальном релизе. Да, это не чистый A/B-тест — разные рантаймы, KV-форматы, один прогон без повторов. Но факт налицо: агрессивная квантизация до ~2.5 бит на MacBook практически не уступила двум DGX Spark с нативными FP8-весами на 89 реальных задачах. Мы говорим не о бенчмарковом MMLU, а о работе в шелле: компиляция, восстановление баз, взлом хешей.
Что настораживает? Автор честно признаёт: бинарная метрика pass/fail не ловит деградацию качества рассуждений, времени решения, промежуточных шагов. Может, MacBook решал задачи грязнее, дольше, с костылями — но финальный вердикт был тот же. А может, паттерн DeepSeek просто очень устойчив к квантизации. Одного прогона мало, чтобы это доказать. Но если это не выброс, а тренд — локальный инференс frontier-моделей на потребительском железе становится реальностью намного быстрее, чем думали оптимисты.
Комментарии