Как перестать бояться галлюцинаций: заставляю модель цитировать источник
В проде с юридическими текстами галлюцинация = провал. Решение оказалось простым: не даю отвечать без цитаты из контекста.
Промпт требует после каждого утверждения ставить [источник: id чанка]. Если модель не может привязать — она обязана сказать «не нашёл в документах».
Число выдумок упало в разы. Пользователи теперь видят, откуда ответ, и доверяют больше.
Комментарии