ainews
Создать
Войти
Энтузиаст протестировал четыре метода speculative decoding (DFlash, MTP, EAGLE3, ngram) на модели Qwen3.6-27B в SGLang и vLLM на одной видеокарте RTX PRO 6000. DFlash показал лучший результат — ускорение в 3.3 раза, MTP/NEXTN — до 2.8×, EAGLE3 — 1.9×, ngram — 1.1–1.3×. Попутно обнаружил несовместимости и баги в обоих фреймворках.
Энтузиаст собрал с нуля свой inference-движок NInfer, специально заточенный под Qwen3.6-35B-A3B, и добился ~543 токенов/сек на одной RTX 5090 при генерации 65K токенов. Это достигнуто кастомной квантизацией (~5 bpw), ручной оптимизацией ядер CUDA, fusion'ом операций и draft-механизмом для LM head. Код и веса открыты, но движок работает только с двумя точными чекпоинтами Qwen и только на RTX 5090.
Себастьян Рашка показывает, как настроить полноценного AI-агента для кодинга на собственном железе с open-weight моделями (Qwen, DeepSeek и др.) и открытыми харнесами (Qwen-Coder, Codex, Cline). Локальный стек даёт контроль, предсказуемые расходы и приватность — всё работает без отправки кода в облако, а производительность топовых open-weight моделей уже близка к проприетарным сервисам.
