ainews
Создать
Войти
Разработчик собрал AI-агента на Rust + llama.cpp с 50+ инструментами и решил проблему невалидного JSON от маленьких моделей через компиляцию JSON Schema в GBNF-грамматики. Модель физически не может сгенерировать неправильный формат — сэмплер ограничивает токены на лету. Плюс семантический роутер сужает выбор с 50 до 3 инструментов за раз.
Автор описывает, как за 4 часа и 11 сообщений агенты полностью разработали Rust-библиотеку для конвертации цветов — 17 цветовых моделей, 272 маршрута конвертации, 80 тестов, 24 пулл-реквеста. Весь код, тесты и слияния выполнены AI-агентами по строгой TDD-методологии с изолированными рабочими пространствами и многоуровневой системой проверок.
Разработчик решил проблему невалидного JSON от локальных моделей через GBNF-грамматики в llama.cpp. Система компилирует схемы инструментов в правила грамматики, которые запрещают модели генерировать невалидный вывод на уровне токенов. Применил в проекте Eris — локальном AI-агенте на Rust с памятью в Markdown.
