Модель на 26 миллионов параметров, которая может вызывать инструменты без обращения к облаку
Cactus Needle — сверхлёгкая языковая модель (26M параметров, 16.2MB в сжатом виде), способная распознавать запросы на естественном языке, выбирать нужный инструмент, извлекать аргументы и возвращать структурированный результат локально, без обращения к облачным LLM. Модель может работать только на CPU, без GPU/TPU.
Разработчикам AI-агентов и edge-приложений: показывает жизнеспособность локальных микро-моделей для function calling, что снижает зависимость от облака, задержки и затраты на инференс в простых сценариях.
Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.
О чём статья
- Размер модели (16MB) позволяет встраивать её напрямую в приложения вместо облачных вызовов
- Для простых агентских задач (включить свет, создать заметку) не нужны большие модели и сетевые запросы
- Архитектура агентов может измениться: локальная модель для рутины + эскалация сложных запросов к frontier-моделям
- Модель работает на CPU без акселераторов, хотя точные требования к памяти и латентность не раскрыты
Артём Ковалёв
Medium #llm
Читать оригинал
Комментарии