Как провести собеседование для вашей AI-модели
Стандартные бенчмарки AI (вроде MMLU или AIME) имеют массу проблем: в них попадают ошибки, модели учатся под тесты, а результаты не всегда коррелируют с реальной пользой. Эксперты разработали неформальные методы оценки «на вайбах» — просят AI нарисовать пеликана на велосипеде или написать рассказ с ограничениями. Это помогает понять, какая модель лучше подходит именно для ваших задач, а не просто имеет высокие цифры в отчётах.
Если вы используете AI в работе, выбор модели по общим рейтингам может обойтись дорого. Потратив час на «собеседование» нескольких моделей на ваших задачах, вы найдёте ту, что реально подходит, а не просто хорошо выглядит в таблицах.
Почему стандартные тесты для AI не работают
Разработчики AI тратят огромные ресурсы на создание новых моделей, но до сих пор нет надёжного способа измерить, насколько они «умны». Основной подход — давать AI человеческие тесты (бенчмарки вроде MMLU, AIME, GPQA) и считать правильные ответы. Проблема в том, что многие из этих тестов публичны, и модели начинают учиться прямо под них — случайно или намеренно.
Ещё хуже: мы часто не понимаем, что именно меряют эти тесты. Вопрос про объём черепа Homo erectus или название альбома Cheap Trick с десятью вариантами ответа — что это проверяет? Плюс тесты не откалиброваны: неясно, одинаково ли сложно улучшить результат с 40% до 41% и с 84% до 85%. А в самих вопросах полно ошибок, и максимальный балл может быть недостижим.
Оценка «на вайбах»
Опытные пользователи разработали неформальные методы. Саймон Уиллисон просит каждую модель нарисовать пеликана на велосипеде, автор статьи — выдру в самолёте. Это не шутки: такие задачи показывают, как AI понимает связи между объектами, его «модель мира».
Ещё пример: попросить написать параграф про человека, которому осталось 47 слов на всю жизнь, и он держит новорождённого. Claude 4.5 Sonnet справился отлично. Gemini 2.5 Pro не смог правильно посчитать слова. GPT-5 Thinking выдал сложные метафоры, но сюжет поплыл. Китайская модель Kimi K2 Thinking написала красиво, но бессвязно.
Что это даёт
Бенчмарки полезны в среднем — они показывают общий тренд роста возможностей AI. Но если вам нужна модель для конкретных задач (писательство, анализ, эмпатия), стандартные тесты не помогут. Компании выбирают AI по публичным метрикам и цене, но это как нанимать сотрудника только по диплому, не проводя собеседование.
Чтобы найти модель под свои нужды, придётся провести собственное «интервью» — дать AI несколько задач из вашей реальной работы и сравнить результаты. Это займёт время, но разница между моделями часто огромна, и правильный выбор окупится.
Ключевые выводы
- Публичные AI-бенчмарки страдают от переобучения, ошибок в тестах и непонятных метрик
- Неформальные тесты («нарисуй выдру», «напиши рассказ с ограничением слов») лучше раскрывают сильные и слабые стороны моделей
- Разные модели показывают разные «вайбы»: Claude силён в писательстве, Gemini может сбиваться со счёта, GPT-5 склонен к сложным метафорам
- Для бизнеса выбор AI только по бенчмаркам — как найм по диплому без собеседования
- Лучший способ выбрать модель — дать ей реальные задачи из вашей работы
Автор: Марина Соколова · Источник: oneusefulthing.org
**Статья попадает в болевую точку:** мы все видели презентации новых моделей с гордыми цифрами типа «95.7% на MMLU!» — и что дальше? На практике одна модель пишет как студент-переводчик, другая путается в простом счёте, третья выдаёт поэзию уровня «нейросеть училась на Reddit».
Автор предлагает разумный подход: да, бенчмарки показывают общий прогресс индустрии, но для конкретного выбора нужны свои тесты. Хотите модель для копирайтинга? Дайте ей 5 реальных брифов. Для анализа данных? Скормите кусок вашей таблицы. Это не rocket science, но почему-то мало кто так делает — проще купить «лучшую по рейтингу». Спойлер: лучшей для всех не бывает. И да, просьба нарисовать выдру в самолёте — это не прикол, а легитимный способ проверить «world model». Если AI рисует выдру *внутри* двигателя, у вас проблемы.
Комментарии