ainews
AI-системы теряют 83% пользовательских правил при сжатии контекста — и это проблема безопасности
Исследователи Penn State обнаружили: когда AI сжимает историю чата для экономии памяти, 83% пользовательских инструкций типа «не отправляй письма без подтверждения» просто исчезают. Это не баг интерфейса — это системная дыра в архитектуре AI-агентов, которая превращается в риск безопасности и денег.
Если вы строите или используете AI-агентов с долгой памятью, эта проблема напрямую бьёт по безопасности и доверию пользователей. Потеря пользовательских правил после компрессии — это не мелочь, а системный риск, который можно и нужно закрыть прямо сейчас.
Что произошло
Исследователи из Penn State замерили, что происходит с пользовательскими инструкциями, когда AI-системы сжимают контекст длинных чатов. Результат неприятный: в среднем только 17% «сессионных ограничений» (типа «подтверждай передо мной все действия» или «не используй мои данные») переживают компрессию. Остальные 83% тихо теряются.
Это не абстрактная проблема качества — это дыра в безопасности. Агент, который должен был спросить перед отправкой письма, после сжатия контекста просто отправит его без согласия. Или сольёт данные, которые пользователь явно запретил раскрывать.
Причина проста: алгоритмы компрессии заточены сохранять задачу и её состояние (что делаем, на каком шаге), а побочные правила поведения воспринимаются как шум и выбрасываются.
Решение нашли простое: запустить рядом маленькую модель (Qwen3.5-9B), которая отдельно собирает все пользовательские ограничения в список и добавляет их к сжатому контексту. Такой «экстрактор» удерживает 90-95% правил без дообучения и без изменений основной системы.
Новый бенчмарк COMPINT теперь позволяет измерять эту проблему системно — и показывает, что большинство текущих компрессоров работают хуже, чем вообще без сжатия.
Автор: Артём Ковалёв · Источник: the-decoder.com
Разработчикам. Если строите AI-агентов с долгой памятью, стандартная компрессия контекста сломает пользовательские constraint'ы. Решение — параллельный экстрактор на маленькой модели (например, Qwen3.5-9B), который отдельно хранит список правил. Без дообучения, работает из коробки, retention >90%. Новый бенчмарк COMPINT — must-have для тестирования таких систем.
Бизнесу. Если ваш продукт использует AI-агентов с длинными сессиями (CRM, email-ассистенты, автоматизация), знайте: текущие системы теряют 83% пользовательских правил при сжатии контекста. Это не UX-мелочь — это риск compliance и доверия клиентов. Юзер сказал «не трогай без подтверждения», а агент после компрессии забыл и сделал — ответственность на вас.
Инвесторам. Проблема retention пользовательских constraint'ов в AI-агентах — это не feature gap, а infrastructure risk для всех продуктов с длинной памятью (enterprise AI, персональные ассистенты, автоматизация workflow). Решение техническое и дешёвое (маленькая модель-экстрактор), но кто первым встроит это в middleware или SDK — получит конкурентное преимущество в compliance-чувствительных секторах (финтех, медтех, legal).
- Middleware-сервис для AI-агентов: constraint extraction as a service — API, которое встраивается между юзером и LLM, хранит правила отдельно и возвращает их при каждом запросе. SaaS-модель, продажа в enterprise.
- SDK для разработчиков AI-продуктов: готовое решение для сохранения пользовательских constraint'ов в долгих сессиях. Уровень Vercel AI SDK, но с фокусом на безопасность и compliance.
- Аудит и сертификация AI-агентов на constraint retention: консалтинг для enterprise, которым нужно доказать регуляторам, что их агенты не теряют пользовательские ограничения. Бенчмарк COMPINT как основа.
- Специализированная модель-экстрактор constraint'ов: обучить на открытых данных маленькую модель (3-9B), которая лучше Qwen отлавливает и структурирует пользовательские правила. Продавать как отдельный инструмент или лицензировать AI-лабораториям.
- Инструмент для пользователей: плагин/расширение, которое мониторит, сохранил ли AI твои правила после компрессии, и напоминает ему заново. Freemium-модель, монетизация через power-users и команды.
- Это infrastructure problem, но пока не влияет на массового пользователя — обычные чаты редко достигают длины, требующей компрессии. Хайп может опередить реальный спрос.
- Решение (отдельный экстрактор) добавляет latency и стоимость на каждый запрос — enterprise купит, но для consumer-продуктов маржа может не сойтись.
- AI-лаборатории могут просто встроить constraint retention в свои модели на уровне архитектуры (например, в GPT-6), и тогда сторонние решения станут ненужными.
- Проблема узкая: касается только длинных сессий с явными constraint'ами. Большинство пользователей даже не знают, что можно задавать такие правила, и не будут платить за их сохранение.
Это одна из тех новостей, где под капотом обычного «AI иногда тупит» скрывается системная дыра, которая станет проблемой на миллиарды, когда AI-агенты займут enterprise-рынок. Пока большинство пользователей даже не знают, что можно задавать сессионные правила — но compliance-отделы финтехов и медтехов уже должны бить тревогу.
Хорошая новость: решение простое и дешёвое, работает из коробки. Плохая: это классический infrastructure gap, где winner takes most — кто первым упакует constraint retention в удобный SDK или middleware, получит весь enterprise-рынок. Остальным останется интегрировать чужое решение или объяснять клиентам, почему их агент слил данные, хотя юзер явно запретил.
Комментарии