#KV-кэш

И инструменты ·16 июл 2026

Почему я удалил LM Studio после недели с omlx

Разработчик столкнулся с проблемой утери KV-кэша в LM Studio при работе с локальными LLM-моделями — система заново обрабатывала 70K токенов контекста, теряя минуты на каждый запрос. Это привело к поиску альтернативы и переходу на omlx — открытый LLM-сервер для Apple Silicon на базе MLX.

0 126

М модели ·16 мая 2026

Новые архитектуры LLM: как модели научились экономить память при длинных контекстах

Свежие open-source языковые модели (Gemma 4, DeepSeek V4, ZAYA1, Laguna XS.2) используют архитектурные трюки для сжатия KV-кэша и снижения затрат на внимание. Главные приёмы: переиспользование ключей-значений между слоями (cross-layer attention), сжатая конволюционная аттеншн и бюджетирование внимания по слоям — всё ради работы с длинными контекстами при меньших требованиях к памяти.

0 57