ainews
Отчётность по стоимости, задержкам и сбоям: почему их нужно измерять вместе
Языковые модели могут казаться дешёвыми, быстрыми и надёжными, если измерять эти параметры раздельно — но для реальных пользователей система окажется дорогой, медленной и ненадёжной. Автор показывает, что стоимость, латентность и частота отказов должны оцениваться по одной и той же выборке запросов, с учётом повторных попыток, таймаутов и человеческой проверки.
0
122
