инструменты 1 мин

Не вырывайте из контекста: кормите LLM ровно тем, что ей нужно

Статья о контекст-инжиниринге — новой дисциплине, которая пришла на смену промпт-инжинирингу. Автор объясняет, почему важно наполнять контекстное окно LLM правильной информацией: слишком мало данных ведёт к галлюцинациям, слишком много — к росту затрат, латентности и падению качества.

Обязательное чтение для разработчиков AI-агентов и продуктов на LLM: автор систематизирует проблемы управления контекстом и предлагает практический фреймворк для оптимизации токенов, качества и стоимости.

Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.

О чём статья

  • LLM API статeless: вся история переотправляется на каждом шаге, что делает каждый добавленный токен платным и влияющим на производительность
  • Агенты (think-act-observe петля) потребляют гораздо больше токенов, чем простые диалоги, загружая в контекст описания инструментов, результаты вызовов и бизнес-данные
  • Длинные контексты вызывают специфические проблемы: потерю середины, смешивание тем, нарушение инструкций и перегрузку релевантности
  • Три семейства техник контекст-инжиниринга: Selecting (отбор данных до входа), Editing (сжатие/редактирование) и Architecting (архитектурные решения)
контекст-инжинирингLLMагентыRAGоптимизация токенов
Юлия Тарасова Medium #llm
Читать оригинал

Инструменты из статьи

AI-ассистент Anthropic. Сильнейший в работе с кодом, длинными документами и...

Доступ из РФ →

Ещё по теме

Комментарии