Мой чек-лист перед выкатом LLM-фичи в прод
Набил шишек, свёл в чек-лист. Делюсь.
Лимиты на токены и таймауты; фолбэк-модель на случай 429; логирование промптов и ответов; фильтр PII на входе; отдельный бюджет-алерт; eval-набор из 50 кейсов, который гоняю на каждый релиз.
Отдельно — красная кнопка отключения фичи без деплоя. Спасала уже дважды.
Комментарии