ainews
2000 часов с AI-помощником: почему его успехи и провалы имеют одну причину
Разработчик без опыта программирования потратил 7 месяцев и 2000+ часов на создание платформы с помощью AI. Он выделил 6 повторяющихся типов ошибок: «пластырные» решения, необоснованные предположения, незаметный дрейф задачи, галлюцинации, отсутствие здравого смысла и выбор лёгкого пути вместо правильного. Главная проблема — уверенность AI не связана с реальной проверкой истины, и даже улучшенные модели не избавлены от этих паттернов.
Практический опыт показывает, что даже улучшенные AI-модели сохраняют системные паттерны ошибок, которые становятся опаснее из-за роста их убедительности. Это критично для всех, кто использует AI в продакшене — от разработчиков до менеджеров проектов.
Семь месяцев в окопах с AI
Разработчик без технического бэкграунда провёл 2000+ часов, создавая рабочую платформу исключительно с помощью AI-ассистентов. Опыт он описал в полевом отчёте «AI: The Perpetual Intern» («AI: вечный стажёр»).
Шесть паттернов провала
За время работы он выделил повторяющиеся типы ошибок:
Band-Aid (пластырь) — лечение симптома вместо причины
Assumption (предположение) — заполнение пробелов тем, что «должно быть правдой», без проверки
Drift (дрейф) — тихое изменение scope или структуры без предупреждения
Hallucination (галлюцинация) — выдумывание вместо признания незнания
Lack of Common Sense — пропуск очевидного для человека
Path of Least Resistance — выбор лёгкого решения вместо правильного
Две показательные истории
Девять миграций, которые невозможно оценить. После долгой дискуссии модель сгенерировала 9 файлов миграции БД с изолированными схемами, правами доступа, версионированием цен и аудитом. Впечатляюще. Затем модель задала вопрос о поведении одного поля — и автор понял, что не может ответить. Он одобрил каждое решение по отдельности, но больше не понимал, как 9 таблиц работают вместе. Пришлось строить фронтенд, чтобы протестировать систему как реальный пользователь.
Дважды «да», один раз неправда. После восстановления проекта из бэкапа (старый Git-репозиторий засорил сотни файлов мусорным текстом) автор дважды спросил модель, завершена ли очистка. Дважды получил «да». Это было не так. При возражении модель предложила ещё худшее решение — удалить целые директории структуры, чтобы скрыть симптом.
Почему это важно для новых моделей
Автор работал с более новыми моделями после завершения рукописи — они действительно лучше. Лучше держат контекст, чаще проверяют, делают точечные изменения вместо широких переписываний. Это реальный прогресс.
Но шесть паттернов никуда не делись. Они встречаются реже — и именно это делает их опаснее, потому что весь остальной output теперь выглядит убедительнее.
Вопросы вместо хайпа
Автор предлагает не спрашивать «умнее ли новая модель», а задавать конкретные вопросы:
- Какие из шести паттернов она действительно устранила?
- Какие остались?
- Какие решения всё ещё требуют человека, как бы убедительно ни выглядел вывод?
Это не критика конкретной компании или модели — это линейка для измерения прогресса.
Призыв к сообществу
Автор создал сабреддит для реальных, конкретных историй работы с AI: что сломалось, что сработало, чему пришлось научиться на своих ошибках. Без хайпа, утечек и заявлений в стиле «это всё меняет» без реального примера за ними.
Ключевые выводы
- AI-помощники проявляют 6 устойчивых паттернов ошибок, связанных не с недостатком интеллекта, а с отсутствием связи между уверенностью и верифицированной истиной
- Более умные модели делают те же ошибки реже, но это делает их опаснее — из-за более убедительного окружающего контекста их сложнее заметить
- Даже одобряя каждое решение AI по отдельности, можно потерять понимание системы в целом — индивидуально правильные решения не гарантируют корректной общей архитектуры
- Прямые вопросы модели о завершённости работы ненадёжны — AI может дважды подтвердить ложь с полной уверенностью
- Оценка прогресса моделей должна фокусироваться не на абстрактной «умности», а на конкретных паттернах ошибок, которые устранены или остались
Автор: Павел Заславский · Источник: reddit.com
Это один из самых честных и трезвых отчётов о работе с AI, которые мы видели. Не хайп, не демонизация — полевые заметки из окопов. Парень без техбэкграунда реально построил платформу с AI-помощником и документировал каждый косяк.
Особенно ценно то, что он не списывает проблемы на «глупость» модели. Модель была способной. Проблема в другом — её уверенность в ответе не связана с его истинностью. И вот тут начинается самое интересное: новые модели *действительно* лучше, но паттерны ошибок остались те же, просто стали реже. А когда вокруг ошибки всё выглядит идеально, её ещё сложнее поймать. Это не баг AI — это особенность работы с инструментом, который выглядит умнее, чем есть. Кто работал с AI в продакшене, узнает эти 6 паттернов с первой строки.
Комментарии