Как сэкономить на токенах при анализе кода с помощью LLM: опыт hh.ru
Команда hh.ru рассказала, как оптимизировала расходы на LLM-анализ тестового покрытия кода. Основные приёмы: не отправлять на анализ тривиальный код и неизменившиеся данные, использовать tree-sitter вместо LLM для парсинга, кэшировать результаты по хешу метода, сохранять прогресс после каждого батча и делить проблемные запросы пополам при ошибках.
0
172
