Supabase выпустил Evals — открытый бенчмарк для проверки AI-агентов на реальных задачах разработки

Разработчикам. Готовый фреймворк для регресс-тестирования доков и навыков агентов, сравнения harness разных моделей перед релизом SDK. Можно форкнуть, добавить свои сценарии из поддержки и гейтить CI на проценте успеха. Реальный стек вместо моков — агент дёргает живой CLI и MCP-сервер, видишь где ломается продакшн-flow.

Бизнесу. Валидация AI-агентов на задачах клиентской поддержки: если агент неправильно пишет RLS-политику, в финтехе или медицине это инцидент безопасности. Можно использовать для контроля качества внутренних AI-тулов, гарантировать что SDK-обновления не ломают популярные use case, и оценивать ROI от внедрения coding-агентов в dev-процесс.

Инвесторам. Открытый стандарт оценки AI-агентов на инфраструктурных задачах — важный сигнал для рынка dev-tooling. Если Supabase публикует метрики регрессий и skill activation, другие платформы последуют. Растёт спрос на специализированные eval-фреймворки для вертикальных доменов (финтех, compliance, healthcare), где ошибка агента = юридический риск.

• Форкнуть Evals под свой продукт: добавить задачи из поддержки, гейтить релизы по проценту успеха агентов — готовый CI-пайплайн для AI-driven dev tools
• Создать платную надстройку: автоматическое обогащение eval-сценариев из тикетов Jira/Linear, дашборды с трендами по моделям, интеграция в Slack для команд разработки
• Специализированные eval-фреймворки для регулируемых индустрий: финтех (проверка compliance в коде), healthcare (HIPAA-совместимость), аудит безопасности для агентов, пишущих IAM-политики
• Консалтинг по настройке skill-описаний: Supabase поднял активацию skill с 10% до 60% простым редактированием промта — услуга оптимизации промтов для корпоративных агентов
• Платформа для vendor lock-in prevention: сравнительное тестирование агентов разных провайдеров на задачах клиента перед миграцией, SaaS с готовыми отраслевыми eval-наборами

• LLM-as-a-judge субъективен: разные версии судьи-модели дадут разные оценки, лидерборд нестабилен при обновлении GPT/Claude
• Переобучение на публичных сценариях: если производители моделей оптимизируют под опубликованные задачи Supabase, бенчмарк теряет репрезентативность
• Инфраструктурные барьеры: запуск требует Docker, 9 свободных портов, API-ключи — порог входа выше чем у обычных code benchmarks, меньше adoption
• Узкая специализация: eval заточен под Supabase-специфичные задачи (RLS, Edge Functions), воспроизводимость для других бэкендов под вопросом

Это первый серьёзный шаг от игрушечных code benchmarks к оценке AI-агентов на задачах, где ошибка стоит денег или создаёт дыру в безопасности. Supabase взял реальные тикеты, поднял контейнер с полным стеком и заставил агентов работать с живым CLI — никаких моков. Результат: Claude читает меньше доки чем Codex, но skill activation зависит от формулировки промта сильнее чем от модели. Это золото для тех, кто внедряет AI в dev-процесс.

Но есть нюанс: LLM-as-a-judge нестабилен, публичные сценарии рискуют стать мишенью для переобучения, а запуск требует Docker и кучу портов. Зато Apache-2.0 и открытый код — можно форкнуть под свой продукт, добавить задачи из своей поддержки и гейтить релизы по проценту успеха. Для инфраструктурных платформ, финтеха и всех, где агент может написать опасный код, это must have инструмент.