ainews
Создать
Войти
IBM Research показала: агентная память работает не как выключатель, а как доза — её нужно калибровать под модель. Сильные модели (DeepSeek-V3.2) растут на +9,5 п.п. при полном наборе инструкций, слабые (gpt-oss-120b) — на +16,1 п.п. при выборочной подаче, а насыщенные вообще не показывают прироста. Главное: обучение идёт вокруг модели, без обновления весов.
Эксперимент на бинарной сети с 131k нейронов показал: при деградации памяти плотность синапсов НЕ падает (80-82% стабильно), хотя recall ухудшается в 3.7 раза. Проблема не в перегрузке весов, а в дрейфе идентичности — сеть начинает активировать конкурирующие паттерны вместо целевых. Классическая теория «интерференции весов» не объясняет реальное поведение.
Исследование показало, что пользователи больше доверяют ответам языковых моделей при наличии цитат — даже если те подобраны случайно. Статья разбирает, почему retrieval-augmented generation (RAG) может создавать видимость обоснованности, не гарантируя точности: от проблем с релевантностью источников до игнорирования моделью найденных данных.
Статья разбирает, почему оценка RAG-систем не может быть бинарной («работает/не работает»). Авторы предлагают детальную таксономию сбоев на всех этапах: от полноты корпуса источников и качества чанкинга до корректности извлечения, синтеза ответа и атрибуции цитат.
BGE-M3 от команды BAAI — это embedding-модель, которая впервые поддерживает три парадигмы поиска (dense, sparse и multi-vector retrieval) в одной модели. Раньше для гибридного поиска в RAG-системах приходилось разворачивать несколько моделей, что усложняло инфраструктуру. BGE-M3 упрощает архитектуру, сохраняя качество и гибкость.
Автор показывает, что успех RAG-систем определяется не выбором векторной базы данных, а продуманной стратегией извлечения информации. Простой поиск top-K по эмбеддингам работает, но редко впечатляет пользователей.
Автор год строил retrieval-систему для AI-агентов и обнаружил, что качество определяют не выбор векторной БД или эмбеддинг-модели, а ранние архитектурные решения: размер чанков, способ извлечения данных, последовательность выбора компонентов. Многие из этих решений принимаются «по умолчанию» из туториалов и оказываются неоптимальными.
Разработчик протестировал новый формат Google OKF (структурированные markdown-файлы со связями) против классического vector RAG на одних данных. RAG ответил верно на 2 из 7 вопросов, OKF — на 3, гибрид — на 4. Главная проблема: векторный поиск топит свежие короткие документы под устаревшими длинными (актуальный спек на 500 символов проиграл deprecated-доку на 4000), а OKF бессилен против длиннохвостых запросов по тикетам.
Автор построил локальную RAG-систему на румынском языке для ответов на вопросы о таможенных процедурах и протестировал распространённое допущение: что высокий скор релевантности при retrieval гарантирует точность ответа. Эксперимент показал, что это допущение не работает на практике, и потребовался другой механизм контроля.
