Чего не хватает LLM-чатботам: чувства цели
Современные LLM-чатботы оцениваются по разовым бенчмаркам (MMLU, HumanEval), но реальное взаимодействие требует целенаправленного многоходового диалога. Текущие метрики не измеряют способность моделей вести продуктивную беседу с конкретной целью — будь то планирование путешествия, отладка кода или персональная ассистентская работа. Для настоящего человеко-AI сотрудничества нужны новые подходы к обучению и оценке диалоговых систем.
Если AI должен стать реальным помощником, а не просто умной автозаменой, нужно переосмыслить, как мы обучаем и оцениваем диалоговые системы. Иначе рост бенчмарков не приведёт к росту пользовательского опыта.
Проблема современных метрик
LLM-чатботы измеряются бенчмарками вроде MMLU и HumanEval — тестами на разовые ответы. Но растущие цифры не всегда улучшают реальный пользовательский опыт. Если цель — совместная работа человека и AI, а не замена, нужны метрики, учитывающие целенаправленный диалог — многоходовую беседу вокруг конкретной задачи.
Зачем нужна целенаправленность
Возьмите планирование путешествия: передать все детали одним запросом невозможно. Итеративный обмен информацией эффективнее — как в теории переговоров, где торг лучше ультиматума.
Или разработка: для решения GitHub-issue (SWE-bench) AI нужно уточнять требования, запрашивать документацию, просить помощи. Это как парное программирование, но без удвоения трудозатрат.
Долгосрочное общение открывает новое: персональный ассистент учит ваши предпочтения, фильтрует новости из Twitter/Arxiv, черновики писем улучшаются на основе ваших правок.
Как делают диалоговые системы
1970-е: жёсткие скрипты («ресторанный скрипт» Роджера Шанка), где каждая реплика прописана вручную.
Сейчас: три этапа:
1. Pretrain: модель учится предсказывать следующий токен на гигантском корпусе (новости, книги, код, немного форумов вроде Reddit).
2. Форматирование диалога: структура превращается в строку через теги <system>, <INST> (метод apply_chat_template). Выбор формата произволен.
3. Файн-тюнинг (следующая стадия, не раскрыта в отрывке).
В чём разрыв
Предсказание следующего токена — основа LLM — противоположно адаптивному многоходовому диалогу. Текущий подход не учит модели вести беседу к цели, обновлять контекст, подстраиваться под пользователя.
Без переосмысления обучения и метрик AI останется умным попугаем, а не партнёром.
Ключевые выводы
- Современные бенчмарки (MMLU, HumanEval) измеряют разовые ответы, а не способность вести целенаправленный диалог
- Реальные задачи (планирование, отладка кода) требуют итеративного обмена информацией, как в переговорах
- Долгосрочное взаимодействие позволяет AI учить предпочтения пользователя и адаптироваться
- Текущий подход (pretrain + форматирование) не обучает модели стратегии диалога
- Для человеко-AI сотрудничества нужны новые методы обучения и метрики
Автор: Никита Громов · Источник: thegradient.pub
Статья поднимает неудобный вопрос: мы гонимся за цифрами в бенчмарках, но забываем, что реальное общение — это не разовый Q&A, а процесс. Автор прав: если AI помогает планировать поездку или чинить баг, ему нужно уметь уточнять, запоминать контекст, подстраиваться. Сейчас модели — как собеседник, который выдаёт умные фразы, но не слушает.
Однако статья больше диагностирует проблему, чем предлагает решение. Упоминание RLHF и файн-тюнинга обрывается — а ведь именно там кроется потенциал. Да и примеры (ресторанные скрипты 70-х, парное программирование) скорее иллюстративны, чем практичны. Но как манифест — сильно: пора мерить не только IQ моделей, но и их EQ.
Комментарии