ainews
Создать
Войти
Автор делится практическим опытом извлечения структурированных данных из беспорядочных PDF-документов для AI-систем. Главная мысль: чистые данные — миф, и большая часть работы в AI-проектах тратится не на модели, а на борьбу с документами, где нет явной структуры.
Статья разбирает типичные ошибки при пакетной обработке запросов к LLM: неограниченная конкурентность вызывает лавину 429-ошибок, неправильные таймауты заставляют платить за несколько генераций одного ответа, слепые retry оплачивают невалидные запросы, а temperature=0 не гарантирует воспроизводимости из-за особенностей батчинга. Решение: семафоры по TPM, batch-режимы для фоновых задач, умные retry с фильтрацией ошибок и мониторинг usage.
