#оценка моделей

И исследования ·16 июл 2026

Чек-лист раскрытия информации для институтов, сравнивающих большие языковые модели

Статья описывает, почему институциональные сравнения LLM часто непригодны для воспроизведения результатов: отсутствуют ключевые детали о версиях моделей, промптах, настройках инференса, данных оценки. Авторы предлагают строгий чек-лист раскрытия информации, чтобы сравнение стало доказательством, а не красивой презентацией.

0 216

И инструменты ·12 ноя 2025

Как провести собеседование для вашей AI-модели

Стандартные бенчмарки AI (вроде MMLU или AIME) имеют массу проблем: в них попадают ошибки, модели учатся под тесты, а результаты не всегда коррелируют с реальной пользой. Эксперты разработали неформальные методы оценки «на вайбах» — просят AI нарисовать пеликана на велосипеде или написать рассказ с ограничениями. Это помогает понять, какая модель лучше подходит именно для ваших задач, а не просто имеет высокие цифры в отчётах.

0 42