DeepSeek V4 Flash на бюджетном железе стал в 3 раза быстрее за неделю — с 2 до 7 токенов в секунду
Энтузиаст запустил 98-гигабайтную модель DeepSeek V4 Flash на скромной связке RTX 4060 Ti (16GB) + процессор AMD Ryzen 5 9600X. За неделю благодаря обновлениям llama.cpp скорость генерации подскочила с 2 до 7 токенов в секунду — CPU-генерация больших моделей становится реально пригодной для использования.
Демонстрирует, что передовые большие модели можно запускать на домашнем железе за разумные деньги — без облака и с сохранением приватности. Прогресс в оптимизации открывает доступ к экспериментам широкому кругу разработчиков.
Большие модели на домашнем железе: прорыв в производительности
Пользователь Reddit под ником Chuyito поделился впечатляющими результатами запуска DeepSeek V4 Flash (98GB) на бюджетной конфигурации. Система включает RTX 4060 Ti с 16GB памяти, 6-ядерный AMD Ryzen 5 9600X и 138GB оперативной памяти.
Трёхкратный рост скорости
Главная новость: между сборками llama.cpp b9986 и b10034 скорость генерации выросла с 2 до 7 токенов в секунду. Это означает, что CPU-генерация для моделей размером почти 100GB переходит из категории «технически возможно» в «практически применимо».
Модель запущена в режиме квантизации Q2_K_XL через llama.cpp с агрессивными настройками: отключенный mmap, 16 потоков, batch size 2048 и контекст 131K токенов. Видеокарта используется минимально — основная работа идёт на CPU и системной памяти.
Что это значит
Оптимизации в llama.cpp делают большие языковые модели доступнее для экспериментов на локальном железе. Связка из среднебюджетной видеокарты (RTX 4060 Ti ~$500) и приличного объёма оперативки позволяет запускать модели, которые ещё недавно требовали серверных конфигураций.
Скорость 7 токенов в секунду — это около 400-450 токенов в минуту, или примерно страница текста за 2-3 минуты. Медленно для продакшна, но вполне рабочий темп для локальных экспериментов, прототипирования или задач, где приватность важнее скорости.
Коммьюнити llama.cpp продолжает выжимать производительность из доступного железа — и такие скачки случаются регулярно.
Ключевые выводы
- Оптимизации llama.cpp за одну неделю утроили скорость генерации больших моделей на CPU
- DeepSeek V4 Flash (98GB) работает на потребительском железе: RTX 4060 Ti + Ryzen 5 9600X
- CPU-генерация больших моделей становится практически применимой — 7 токенов/сек достаточно для экспериментов
- Квантизация Q2_K и агрессивные настройки batch позволяют обойти ограничения VRAM
- Локальный запуск больших LLM перестаёт быть привилегией серверов
Автор: Никита Громов · Источник: reddit.com
Это классная иллюстрация того, как быстро двигается low-level оптимизация в AI-сфере. Пока все обсуждают GPT-5 и новые облачные сервисы, энтузиасты llama.cpp тихо делают невозможное возможным: модель на 98 гигов крутится на видеокарте за 50 тысяч рублей. Причём не просто крутится, а утроила скорость за неделю благодаря допилам в коде.
Конечно, 7 токенов в секунду — это не ChatGPT, который выдаёт текст почти мгновенно. Но для задач, где важна приватность (медицинские данные, корпоративные документы, личные эксперименты), это меняет правила игры. Не нужен сервер за миллионы, не нужна подписка — только терпение и нормальный объём оперативки. И судя по темпам оптимизации, через пару месяцев может быть ещё быстрее.
Комментарии