ainews
Неделю винил AI-модель, а проблема была в одной вставке в базу данных
Разработчик API для извлечения данных из документов обнаружил, что главный источник задержки — не медленный вызов vision LLM (3 секунды), как он предполагал, а одна операция записи в Postgres, которая занимала 1,2 секунды вместо ожидаемых 50-150 миллисекунд. Детальное профилирование показало, что «очевидный виновник» не всегда оказывается реальной проблемой.
Практический кейс о важности измерений перед оптимизацией: автор показывает, как интуитивные предположения о «дорогой» части системы (AI-модель) могут отвлечь от реальных узких мест. Полезно разработчикам, которые интегрируют LLM и склонны списывать всю задержку на модель.
Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.
О чём статья
- Вызов vision-модели действительно был самым долгим этапом (3 сек), но одна запись в БД неожиданно занимала 1,2 сек — 15% общего времени запроса
- Причина медленной записи вероятно в несовпадении регионов между сервером приложения и базой данных
- Две простые оптимизации: объединение двух записей в БД в одну и перенос логирования использования в неблокирующий режим
- Остаётся необъяснённый провал в 2,5 секунды, не связанный с cold start, который требует дополнительной инструментации
Комментарии