ainews
Как я создал AI-аналитика данных, который сообщает, когда галлюцинирует
Автор разработал open-source инструмент ADA — аналитика данных, который использует LLM только для понимания вопросов пользователя, а все расчёты выполняет через pandas локально. Каждый ответ сопровождается формулой, по которой он получен, что исключает галлюцинации в числах и позволяет проверить любой результат.
Разработчикам AI-инструментов и дата-аналитикам, которые хотят понять, как создавать надёжные системы с LLM без галлюцинаций в критичных задачах. Автор демонстрирует работающую архитектуру разделения ответственности между моделью и детерминированным кодом.
Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.
О чём статья
- Стандартная архитектура AI-аналитиков передаёт языковой модели обе задачи — понимание вопроса и вычисление ответа, что приводит к ненадёжным результатам
- ADA использует LLM только для парсинга намерений, все вычисления выполняются pandas с выводом формул и промежуточных шагов
- Система работает на основе замороженных dataclass-структур QueryPlan, что делает её тестируемой, инспектируемой и детерминированной
- Парсер построен на правилах и регулярных выражениях с чёткой иерархией проверок, а не на промптах — это позволяет покрывать функциональность unit-тестами
Марина Соколова
Medium #llm
Читать оригинал
Комментарии