#evaluation

И инструменты ·17 июл 2026

Неправильный ответ AI — это не диагноз

Статья объясняет, почему сквозная (end-to-end) оценка AI-систем показывает лишь факт ошибки, но не её причину. Автор разбирает пример с виртуальным ассистентом, который дал неверный ответ о сроках возврата товара, хотя ни один компонент системы явно не «сломался» — проблема возникла на стыке query rewriting, retrieval и формирования контекста.

0 84
И исследования ·17 июл 2026

Дрейф версий: почему вчерашняя оценка может не описывать сегодняшнюю модель

Статья объясняет, почему результаты тестирования AI-моделей быстро устаревают. Под одним названием модели (GPT, Claude, Gemini) могут скрываться разные версии с изменёнными весами, настройками, инструментами и фильтрами. Автор разбирает четыре типа дрейфа и показывает, что для воспроизводимых выводов недостаточно указать название модели — нужна полная спецификация системы.

0 209