ainews
Создать
Войти
Разработчик обнаружил слабое место автономных AI-агентов: проверка только финального результата пропускает критичные ошибки в процессе выполнения. Создан open-source инструмент Watch Skill, который записывает и анализирует весь процесс работы агента покадрово, позволяя находить скрытые сбои — от NaN в чекауте до зависших модалок.
Автор обнаружил противоречие в официальных руководствах AWS по observability агентных AI-систем. Одно руководство рекомендует наблюдать метрики по архитектурным «слоям» (грубозернистые абстракции), другое — по «фазам» выполнения (мелкозернистые шаги). При этом термин «фаза» нигде не определён, хотя используется 127 раз в документе на 770 страниц.
AI-агенты умеют читать код и генерировать патчи, но в реальных системах баги часто связаны с окружением: упавшие сервисы, порты, таймауты, переменные. Автор предлагает сместить фокус с улучшения моделей на их интеграцию с observability-инструментами: логами, метриками, трейсингом. Вопрос — как правильно подавать runtime-данные в контекст агента и не дать ему действовать на основе неполной информации.
Автор добавил систему мониторинга в клинический AI-агент и обнаружил, что трейсы содержат незащищённые персональные медицинские данные (PHI). Стандартное решение — редактирование перед экспортом — оказалось сложнее, чем кажется: даже с библиотекой Presidio от Microsoft детектор пропустил 135 из 752 PHI-сущностей на тестовом наборе.
Команда достигла 100K трейсов LLM в месяц, и облачный тариф Langfuse стал заметной статьёй расходов. Автор описывает опыт самостоятельного развёртывания open-source версии Langfuse на собственной инфраструктуре — от первого запуска за полдня до production-ready решения за неделю.
