ainews
Фреймворки для AI-агентов: разница в цене до 3х, в скорости — вдвое
Composio протестировала DeepSeek V4 Flash на четырёх агентских фреймворках (Claude Code, Codex, OpenCode, Oh My Pi) на 30 реальных задачах. Результат: выбор обёртки вокруг модели меняет стоимость в 3 раза, скорость — в 2,2 раза. Claude Code самый быстрый (122 сек), но дорогой ($0.195 за задачу). OpenCode самый дешёвый ($0.073), но медленнее. Oh My Pi лидирует по проценту успешных задач (17/30), но самый медленный (272 сек).
Если вы строите AI-продукт, выбор фреймворка напрямую влияет на ваши расходы и скорость работы. Разница в 3 раза по цене и вдвое по времени — это конкурентное преимущество или провал юнит-экономики.
Что произошло
Composio прогнала DeepSeek V4 Flash через четыре популярных агентских фреймворка — Claude Code, Codex, OpenCode и Oh My Pi — на 30 задачах с реальными сервисами: Gmail, GitHub, Slack, Notion. Проверяли, как быстро и за какие деньги агент решает задачи.
Результаты показали: универсального лидера нет. Oh My Pi решил больше всего задач (17 из 30), но оказался самым медленным — 272 секунды на задачу. Claude Code быстрейший (122 сек), но стоит $0.195 за задачу — дороже всех, хотя использует меньше вызовов инструментов и генерирует меньше токенов. OpenCode самый дешёвый ($0.073), но чуть отстаёт по проценту успеха (14/30).
Семь задач проходили или проваливались в зависимости только от фреймворка — одна и та же модель, разные обёртки, разные результаты. Общий процент успеха у всех близок, а вот стоимость и скорость различаются радикально: почти 3x по цене, 2.2x по времени.
Вывод прост: фреймворк важнее модели. Выбор инструментария напрямую бьёт по карману и производительности.
Автор: Юлия Тарасова · Источник: the-decoder.com
Разработчикам. Выбор агентского фреймворка критичен для бюджета и скорости. Claude Code даёт скорость (122 сек/задачу), но стоит $0.195. OpenCode в 2.7 раза дешевле ($0.073), но медленнее. Oh My Pi лучше решает сложные задачи (17/30), но самый медленный (272 сек). Одна модель, разные обёртки — разные результаты даже на идентичных задачах.
Бизнесу. Выбор инфраструктуры вокруг AI-модели меняет операционные расходы в 3 раза. Если задача — скорость, платите за Claude Code. Если бюджет ограничен — OpenCode. Для высокой точности на сложных задачах — Oh My Pi, но готовьтесь к задержкам. Модель одна, а экономика проекта зависит от фреймворка.
Инвесторам. Рынок агентских фреймворков становится ключевым драйвером рентабельности AI-продуктов. Разброс в 3x по стоимости и 2.2x по скорости — прямое влияние на unit-экономику стартапов. Победители — те, кто оптимизирует выбор инфраструктуры под конкретные сценарии, а не гонится за модной моделью.
- Создать агрегатор-маршрутизатор фреймворков: автоматически выбирает оптимальный фреймворк под задачу (скорость/цена/надёжность)
- Консалтинг по оптимизации AI-агентов: помогать компаниям выбирать фреймворк под бюджет и требования, экономя до 3x на инференсе
- Построить собственный фреймворк-гибрид: объединить скорость Claude Code, цену OpenCode и надёжность Oh My Pi
- Мониторинг и бенчмарки для фреймворков: SaaS для сравнения производительности агентов в реальных условиях
- Специализированные фреймворки для вертикалей: например, для e-commerce (быстрый + дешёвый) или для аналитики (медленный, но точный)
- Тесты на 30 задачах — малая выборка, результаты могут не масштабироваться на production-нагрузки
- DeepSeek V4 Flash — одна модель, на других (GPT-4, Claude 3.5) картина может быть иной
- Фреймворки быстро обновляются, бенчмарки устаревают за месяц
- Разница в цене может быть связана с разным качеством результата, а не только с эффективностью
Этот бенчмарк — отрезвляющий удар для тех, кто гонится за новыми моделями. Оказывается, DeepSeek V4 Flash в Claude Code и в Oh My Pi — это два разных продукта по цене и скорости. Разница в 3 раза по стоимости и вдвое по времени — это не погрешность, а фундаментальный сдвиг в том, как строить AI-продукты.
Но есть нюанс: тест на 30 задачах — это хорошо для первого впечатления, но мало для production-выводов. Реальная нагрузка, edge-кейсы, специфика доменов — всё это может перевернуть картину. Тем не менее, месседж ясен: если вы не оптимизируете выбор фреймворка, вы переплачиваете или тормозите в разы. И это уже не теория, а конкретные цифры.
Инструменты из статьи
Агентный кодинг в терминале от Anthropic: сам пишет, тестирует и правит код...
Доступ из РФ →
Комментарии