Я перестал брать деньги с пользователей за свои же сбои
Автор создал AI-чат, где пользователи платят посекундно. Когда обнаружил, что люди платят за зависшие сессии и падения агента, отказался от стандартного решения с резервными моделями (которые тоже съедают время) и внедрил автоматический возврат средств при сбоях. Превратил техническую проблему в применение паттерна Compensating Transaction из распределённых систем.
Разработчикам AI-продуктов с потоковой оплатой стоит переосмыслить, кто платит за технические сбои. Автор показывает практическую реализацию честной модели биллинга и детекции «тихих» отказов агентов, которые не ловятся стандартным мониторингом.
Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.
О чём статья
- Fallback-модели в посекундной тарификации перекладывают стоимость сбоев на клиента — пока идут retry и переключения на резервные модели, счётчик продолжает работать
- Автоматический возврат средств при сбоях — это не жест доброй воли, а реализация паттерна Compensating Transaction из распределённых систем (описан ещё в 1987)
- Худшие сбои AI-агентов — «тихие»: API возвращает 200, но агент зависает или уходит в циклы, не генерируя исключений, которые можно поймать
- Если пользователь закрывает чат сразу после открытия — это сигнал о плохом ответе агента, более надёжный чем любая ML-метрика
Роман Швец
Medium #llm
Читать оригинал
Комментарии