#latency

И инструменты ·20 июл 2026

Как латентность превращается в характер: дизайн AI-ассистента без интерфейса

Разработчик AI-ассистента для iMessage поделился неочевидными находками: без UI нельзя показать спиннер, поэтому задержка >10 сек воспринимается как игнор. Решение — двухмодельная схема: быстрая модель мгновенно подтверждает понимание запроса («смотрю три подписки на твоей Amex»), затем медленная делает работу. Ещё проблемы: как показывать возможности без меню, как обрезать длинные ответы и что делать, если пользователь пишет второе сообщение, пока первое обрабатывается.

0 105

И инструменты ·16 июл 2026

Почему избыток контекста делает AI хуже

Одна из главных причин медленной, дорогой и неточной работы production AI-систем — отправка слишком большого объёма контекста в промпт. Автор объясняет, почему LLM теряют производительность при избытке информации, и показывает, как построить переиспользуемый Context Builder на Python, чтобы отправлять модели только релевантные данные.

0 192