#quantization

И инструменты ·19 авг 2026

Разработчик разогнал Qwen3.8-27B до 138 токенов/сек на RTX 3090 — новый рекорд локального инференса

Независимый разработчик выжал из Qwen3.8-27B (27 млрд параметров) 138 токенов в секунду на одной RTX 3090, используя квантизацию W4A16, speculative decoding через DFlash2 и самописный lookup-поиск в истории токенов. Это в 3-4 раза быстрее стандартного инференса, при сохранении точности на уровне оригинальной модели.

0 74

И инструменты ·25 июл 2026

Эмбеддинги и векторные базы данных: архитектура и компромиссы

Статья разбирает техническую архитектуру RAG-систем на уровне эмбеддингов и векторных баз данных. Автор объясняет, как превратить демо-прототип в production-ready решение, которое работает быстро и не съедает весь бюджет на инфраструктуру.

0 95