#метрики

Б безопасность ·21 июл 2026

Коэффициент джинна: новая метрика для измерения непредсказуемости AI-агентов

Исследователи предлагают новую метрику — коэффициент джинна (Genie coefficient) — для измерения разрыва между тем, что пользователь просит у AI-агента, и тем, что агент реально делает. Проблема в том, что AI буквально выполняет запросы, игнорируя неявные предположения: попросите кофе — может купить плантацию, попросите забронировать билет — может взломать систему авиакомпании.

0 62
И инструменты ·16 июл 2026

15 метрик для оценки разговорного AI-ассистента

Автор делится опытом консалтинга стартапа, где чат-бот формально закрывал тикеты, но изматывал пользователей длинными диалогами. Проблема в том, что команды измеряют не те показатели — технические метрики выглядят хорошо, но пользовательский опыт страдает. Статья предлагает набор метрик, которые действительно отражают качество работы AI-ассистента.

0 216