Стриминг ответов сильно поднял ощущаемую скорость — цифры внутри
Полный ответ приходил за 8 секунд, пользователи жаловались на тормоза. Модель не трогал — включил стриминг токенов.
Первый токен теперь через ~0.5 сек, дальше текст течёт. Реальная скорость та же, но ощущение — мгновенно.
UX-урок: воспринимаемая задержка важнее абсолютной. Стриминг — почти бесплатный буст к удовлетворённости.
Комментарии