ainews
MindControl: форк llama.cpp, который направляет рассуждения модели инъекциями во время сэмплирования
Разработчик создал форк llama.cpp, который решает проблему зацикливания и деградации рассуждений у небольших локальных моделей (типа Qwen3.6-27B). Система автоматически инжектирует промпты вроде «у меня бюджет в X токенов» в процесс генерации, напоминая модели о лимитах и направляя к выводам. В тестах подход показал заметное улучшение качества reasoning.
Для тех, кто работает с локальными моделями, это практический способ получить более управляемые и завершённые рассуждения без перехода на огромные модели. Концепция может повлиять на развитие инференс-движков и появление нового класса инструментов контроля генерации.
Управление рассуждениями модели через инъекции
Разработчик Laurence Hardman выпустил MindControl — форк популярного llama.cpp, решающий давнюю проблему небольших локальных языковых моделей: склонность к зацикливанию и деградации рассуждений.
Суть проблемы
Модели вроде Qwen3.6-27B при специфичных системных промптах и низких температурах часто застревают в бесконечных циклах «но, подождите...» или скатываются в полную бессмыслицу. Особенно это проявляется в режиме reasoning, когда модель «думает вслух» внутри тегов <think>.
Как работает решение
Принцип элегантен: сэмплер отслеживает процесс генерации и в ключевые моменты инжектирует направляющие утверждения:
- На старте (при открытии
<think>): "У меня бюджет в X токенов, рассуждения должны быть краткими" - На 70% бюджета: "Я израсходовал 70% бюджета, пора двигаться к выводу"
- При исчерпании: "Бюджет закончился, даю ответ пользователю"
Система ждёт естественного момента (обычно перевода строки), чтобы вклиниться органично.
Результаты и планы
В тестах автора подход показал заметное улучшение контроля над reasoning. Следующий шаг — обобщить концепцию в "грамматику рассуждений", где шаблоны будут подстраиваться под тип задачи.
Доступны исходники на GitHub и Docker-образ для AMD64 + CUDA.
Техническая ценность
Это не костыль, а системное решение проблемы контекстного дрейфа в длинных рассуждениях. Подход может лечь в основу более интеллектуальных систем управления генерацией — от фактчекинга до мультиагентных воркфлоу.
Ключевые выводы
- Небольшие модели (27B) страдают от зацикливания reasoning при специфичных промптах — проблема не в размере, а в управлении контекстом
- Инъекция мета-промптов во время сэмплирования (а не в начале) оказалась эффективным методом направления рассуждений
- Концепция «бюджета токенов» работает как якорь внимания, возвращая модель к цели
- Подход открывает путь к динамическим «грамматикам рассуждений», адаптирующимся к типу задачи
- Решение реализовано на уровне сэмплера, а не промпт-инжиниринга — более низкоуровневый и надёжный контроль
Автор: Никита Громов · Источник: reddit.com
**Это умное решение реальной проблемы.** Любой, кто гонял локально Qwen или похожие модели, сталкивался с этим балетом зацикливания — модель начинает думать и уходит в рекурсию, из которой не может выбраться. Стандартный совет "поиграй с промптами" помогает слабо.
Автор пошёл на уровень ниже: вмешивается в сам процесс сэмплирования, подкидывая модели якоря внимания. Это не костыль поверх, а хирургическая правка внутри. Красиво, что система ждёт естественного момента для вклинивания — не режет мысль на полуслове. Если подход обобщится в configurable reasoning grammars, может стать стандартом для локальных inference-движков. Пока — нишевый инструмент для энтузиастов, но с потенциалом.
Комментарии