исследования 12 авг 2026 1 мин

Автор AI-учебника проверил, когда модели напишут книгу лучше человека — результат неожиданный

Натан Ламберт написал учебник по RLHF и активно использовал LLM как помощников. Вывод: модели отлично ловят опечатки и помогают с LaTeX, но в длинных текстах создают хаос вместо структуры. Прогресс в написании нон-фикшена застопорился, хотя в коде и математике модели растут экспоненциально. Это тревожный сигнал для тех, кто ждёт автономного решения научных задач AI.

Это первый честный отчёт практика, который проверил AI на реальной книге. Выводы важны для всех, кто делает продукты на AI-письме или ждёт прорывов в AI-науке — ожидания надо корректировать.

Натан Ламберт, исследователь и автор, только что закончил учебник по Reinforcement Learning from Human Feedback — одну из ключевых технологий обучения современных LLM. В процессе он активно использовал AI: GPT для поиска опечаток, Claude для редактуры и советов, модели для генерации диаграмм в TikZ и Python.

Результат удивил: модели стали супергероями в коде и математике, но качество длинных технических текстов почти не выросло. GPT-4.5 нашёл глубокие опечатки в 200-страничном PDF, Claude давал толковые советы по стилю — но попытка написать целую главу провалилась. Текст получается размазанным, структура теряется, появляются концептуальные ошибки там, где модель пытается «быть умной».

Ламберт видит системную проблему: модели умеют проверять и генерировать отдельные куски (предложение, уравнение, абзац), но не умеют сжимать и организовывать знания в связное целое. Они увеличивают энтропию вместо того, чтобы её снижать — а ведь сжатие информации и есть основа инсайта.

Это тревожный звонок для тех, кто ждёт от AI прорывов в науке. Если модели не могут связно изложить уже известное, как они будут решать открытые фундаментальные проблемы? Пока что AI — мощный ассистент, но не автономный учёный.

LLMтехническое письмоAI-ассистенты RLHF ограничения AI

Автор: Сергей Ефимов · Источник: interconnects.ai

Разработчикам. Модели отлично справляются с точечными задачами: генерация TikZ-диаграмм, рефакторинг LaTeX, поиск багов в коде. Но архитектура длинного текста или связного API-документа — всё ещё ваша работа. Используйте AI для ускорения рутины, не для замены мышления.

Бизнесу. Автогенерация контента застопорилась там, где нужна структура и глубина. Если ваш продукт полагается на AI-написание технической документации, онбординга или образовательных курсов — закладывайте человеческий контроль. Короткие тексты (FAQ, email) AI делает хорошо, длинные — нет.

Инвесторам. Прогресс AI в письме отстаёт от прогресса в коде и математике на порядок. Это ограничивает автономность моделей в науке и образовании. Ставки на полностью автоматизированный научный AI пока рискованны — модели всё ещё нуждаются в людях-проводниках для организации знаний.

Хайп30

Реальная польза70

Заработать60

Создать AI-редактор для технической документации, который не генерирует текст, а проверяет структуру, логику и стиль длинных документов
Разработать специализированные harness для inference-time scaling в писательских задачах — аналог Claude Code, но для книг и курсов
Сделать платформу для коллаборативного написания учебников: AI пишет черновики глав, человек организует структуру и смысл
Создать сервис AI-ассистированного copyediting для академических публикаций: модели ловят опечатки и стилистику, люди — концептуальные ошибки
Инвестировать в датасеты высококачественного технического письма для файнтюна — это узкое место, которое никто не закрыл

Переоценка автономности AI в науке и образовании — модели пока не могут заменить людей в организации знаний
Хайп вокруг AI-авторства может привести к потоку низкокачественного контента, если бизнес будет экономить на редакторах
Отсутствие inference-time scaling для письма означает, что прогресс здесь будет медленнее, чем в коде — ожидания рынка не оправдаются
Если модели не научатся сжимать информацию, их применение в науке останется ограниченным низко висящими фруктами, а не прорывами

Это один из тех текстов, где практик честно говорит неудобную правду. Все видят, как AI рвёт в коде и математике, но почему-то в письме прогресса почти нет. Ламберт объясняет просто: модели умеют делать локальные вещи, но не глобальную организацию. Это как программист, который пишет идеальные функции, но не может спроектировать архитектуру системы.

Для бизнеса это означает: если вы делаете AI-контент, не экономьте на редакторах. Для инвесторов — скептически смотрите на обещания автономного AI в науке и образовании. Модели пока не умеют сжимать информацию в инсайты, а без этого никакой магии не будет. Используйте AI как ассистента, не как замену мозгу — и будет профит.