ainews
Когда RAG — не лучший выбор: урок из базы знаний на 9 чанков
Разработчик построил WhatsApp-ассистента для небольшого бизнеса по домашней кухне, используя стандартную RAG-архитектуру (векторный поиск по эмбеддингам). Оказалось, что для базы знаний всего из 9 чанков RAG добавляет точку отказа без реальной пользы — проще и надёжнее передавать весь документ целиком в промпт.
Практический кейс для разработчиков AI-агентов: показывает, когда популярная RAG-архитектура избыточна и даже вредна, и напоминает тестировать граничные случаи между правилами в базе знаний. Полезно тем, кто строит ассистентов для малого бизнеса или работает с компактными знаниевыми базами.
Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.
О чём статья
- При маленькой базе знаний (9 чанков) векторный поиск плохо различает релевантность — короткие списки цен и названий не несут достаточно семантического сигнала для стабильного ранжирования
- Если весь документ помещается в контекстное окно, RAG добавляет сложность и риск ошибок ранжирования, не давая преимуществ — лучше передавать всё сразу
- При наличии двух похожих правил, применимых к разным ситуациям, модель может их смешать — нужно явно указывать границы применимости, а не надеяться на вывод
- Архитектуру следует выбирать под реальный масштаб задачи, а не под то, что звучит сложнее или «правильнее»
Павел Заславский
Medium #artificial-intelligence
Читать оригинал
Комментарии