Запуск 35B LLM с контекстом 128K на б/у железе за €870 — без облака
Автор собрал домашний сервер из двух разномастных б/у видеокарт (RTX 4070 + 2070 Super за €600, потом заменил вторую на 5060 Ti за €870) и провёл серию бенчмарков пяти современных открытых моделей. Ключевое открытие: mixture-of-experts модели обходят плотные модели той же размерности в 4 раза по скорости, а правильная настройка llama.cpp даёт до 48% прироста над Ollama на больших моделях.
Практическое руководство для тех, кто хочет запускать большие LLM локально — с реальными цифрами, измеренными узкими местами и конкретными компромиссами между ценой железа и возможностями моделей. Особенно полезно для понимания разницы между архитектурами и настройками инференс-движков.
Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.
О чём статья
- Скорость генерации определяют активные параметры, а не размер модели: MoE-модель на 26B работает быстрее плотной модели на 9B
- Ollama и llama.cpp на одинаковых весах дают разную производительность — на MoE-моделях llama.cpp опережает на 32–48% за счёт умной выгрузки экспертов
- Граница в 20 GB VRAM — критический порог: модели, не помещающиеся в память GPU, теряют скорость на порядок из-за обращений к CPU
- Qwen 3.6 35B с 2 KV-головами умещает до 140K токенов контекста в 28 GB VRAM при сохранении качества
Комментарии