Я создал 5 генеративных AI-ботов за 30 дней: что сломалось в продакшене
Автор за месяц запустил пять разных AI-ботов (от поддержки до голосовых FAQ) на одном стеке (Dialogflow CX, Vertex AI, RAG). Каждый бот ломался по-своему: галлюцинации создавали несуществующие политики возврата, контекст терялся, векторный поиск выдавал мусор. Статья — это отчёт о реальных проблемах в продакшене и конкретных решениях.
Практикам, запускающим LLM-ботов в продакшен, — чтобы понять реальные подводные камни RAG, управления контекстом и валидации выводов на конкретных примерах отказов и фиксов из боевой эксплуатации.
Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.
О чём статья
- Один из ботов сгенерировал несуществующую политику возврата, которую клиент попытался использовать — после этого автор стал относиться к выводам LLM как к ненадёжному пользовательскому вводу
- Все боты строились на одной архитектуре (детерминированные flow для транзакций, генеративные модели для остального), но каждый отказывал уникально
- Использовалась комбинация Dialogflow CX для роутинга интентов, Cloud Functions для вебхуков, Vertex AI для генерации и векторных баз (Vertex AI Search и pgvector) для RAG
Марина Соколова
Medium #llm
Читать оригинал
Комментарии