Дрейф версий: почему вчерашняя оценка может не описывать сегодняшнюю модель
Статья объясняет, почему результаты тестирования AI-моделей быстро устаревают. Под одним названием модели (GPT, Claude, Gemini) могут скрываться разные версии с изменёнными весами, настройками, инструментами и фильтрами. Автор разбирает четыре типа дрейфа и показывает, что для воспроизводимых выводов недостаточно указать название модели — нужна полная спецификация системы.
Обязательное чтение для всех, кто принимает решения на основе бенчмарков или проводит внутренние оценки моделей — от исследователей до команд procurement. Статья показывает, почему публичные сравнения часто несопоставимы и как правильно документировать тестирование для институциональных целей.
Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.
О чём статья
- Название модели (GPT-4, Claude) — это не постоянная техническая идентичность; провайдеры регулярно обновляют системы под тем же именем
- Существует четыре типа дрейфа: модельный (изменение весов), конфигурационный (промпты, параметры), пайплайновый (retrieval, инструменты) и оценочный (изменение самих тестов)
- Даже закреплённые версии (snapshots) не гарантируют идентичных результатов из-за недетерминированности генерации
- Для воспроизводимых оценок нужно документировать не только модель, но и точную конфигурацию: промпты, API-версию, инструменты, датасет, метод скоринга и дату тестирования
Комментарии