ainews
Создать
Войти
Команды добавляют векторные БД и RAG при падении качества ответов, хотя реальная проблема — не в поиске информации, а в том, что модель не может выбрать из кучи релевантных документов действительно важный. RAG автоматизирует подачу того же мусора, не решая проблему приоритизации контекста.
AWS выпустил паттерн для RAG-приложений на Bedrock: маленькая модель (Claude Haiku) фильтрует контекст после поиска, оставляя только релевантные куски для основной модели (Claude Sonnet). Это даёт до 70% экономии на входных токенах при сохранении качества ответов. Реализация — одна Lambda-функция, работает с Bedrock Knowledge Bases.
Amazon Bedrock AgentCore получил фильтрацию доменов и дат публикаций прямо в API-вызовах: теперь можно управлять источниками веб-поиска для AI-агентов на уровне каждого запроса. Плюс региональное развёртывание в Дублине и Токио для снижения задержек и соответствия требованиям локализации данных.
В Пакистане провели масштабный эксперимент с AI-инструментом для судей: 1559 судей использовали JudgeGPT (GPT-4 + база из 130 тысяч местных судебных решений). Результат: число разрешённых дел выросло на 6.3%, жалобы на решения снизились, а качество не упало. Ключ к успеху — обучение судей работе с AI (без него инструмент забрасывали через месяц).
Исследователи предложили метод Synthetic Query Probing для сравнения разных эмбеддинг-моделей (например, OpenAI ADA vs AWS Titan). Вместо сравнения эмбеддингов напрямую (невозможно) они сравнивают пространства схожести — similarity scores для пар контента. Выяснилось: Titan разных размерностей линейно связаны, а Titan vs ADA — нелинейно, с разными диапазонами. Это помогает подбирать пороги для RAG и понимать, как модели ведут себя относительно друг друга.
Переключение между GPT и Claude или апгрейд до новой версии редко улучшает результат. Проблема не в модели, а в том, какой контекст вы ей даёте. Три критичных элемента: актуальные факты (которых нет в обучающих данных), конкретные примеры хорошего результата (не описания, а образцы) и напоминание о предыдущих правках. Частая ошибка — не дефицит контекста, а его избыток: 40 страниц текста мешают модели найти нужное.
Статья о контекст-инжиниринге — новой дисциплине, которая пришла на смену промпт-инжинирингу. Автор объясняет, почему важно наполнять контекстное окно LLM правильной информацией: слишком мало данных ведёт к галлюцинациям, слишком много — к росту затрат, латентности и падению качества.
Исследователь создал House of IFs — AI-агента, который предсказывает будущее по новостям, используя логику древних месопотамских предзнаменований (ЕСЛИ странный знак → ТО результат). Проект показывает, как AI-агенты выдают убедительные паттерны из случайных данных и постоянно искажают факты, даже имея точные источники.
Автор делится опытом создания RAG-системы для работы со структурированными данными в реляционных БД. В отличие от типичных примеров RAG с PDF и документами, здесь используется техника text-to-SQL: пользователь задаёт вопрос на естественном языке, система конвертирует его в SQL-запрос. Главная проблема первой версии — бот всегда давал ответ, даже когда не был уверен в его правильности.
Amazon представила технику task-aware knowledge compression (TAKC) — альтернативу классическому RAG для работы с сотнями документов одновременно. Вместо поиска похожих фрагментов система сжимает весь массив знаний в 8-64 раза под конкретную задачу, сохраняя связи между документами. Результат: финансовый аналитик может спросить про риски с учётом контрактов поставщиков и судебных дел — AI видит всю картину, а не топ-5 кусков текста.
Статья разбирает системную архитектуру для AI-агентов, которые работают часами и днями, а не минутами. Основная проблема: история взаимодействия быстро перерастает контекстное окно модели, что ведёт к деградации качества, росту затрат и в итоге к отказу. Автор предлагает разделить память агента на типы (рабочая, эпизодическая, семантическая, процедурная) и использовать стратегии управления контекстом — от простого скользящего окна до иерархических сжатий и retrieval-подхода.
Исследование показало, что пользователи больше доверяют ответам языковых моделей при наличии цитат — даже если те подобраны случайно. Статья разбирает, почему retrieval-augmented generation (RAG) может создавать видимость обоснованности, не гарантируя точности: от проблем с релевантностью источников до игнорирования моделью найденных данных.
Разработчик AI-воркспейса Bike4Mind показал, как работает полноценный локальный AI-агент (с инструментами, RAG, генерацией артефактов и мультимодальностью) на ноутбучной RTX 3050 Ti с 4 ГБ видеопамяти. Qwen3.5:2b выдаёт 96 токенов/сек и умещается в память с запасом, но для генерации кода приходится переключаться на специализированную модель, а эмбеддер и чат-модель не помещаются одновременно. Главный вывод: 4 ГБ хватает для полноценной работы, но с компромиссами в выборе моделей.
Автор разбирает популярный тезис «RAG мёртв, долой векторные базы, длинный контекст решает всё» и показывает, почему он не работает в медицинских AI-системах. Клинические тексты полны семантически похожих, но критически разных данных (симптомы, диагнозы), а регуляторные требования (HIPAA, контроль доступа на уровне пациентов) делают «просто засунуть всё в промпт» юридически невозможным.
Статья предлагает практическую систему выбора между prompt-инжинирингом, RAG и дообучением LLM-моделей. Автор объясняет, что дообучение меняет поведение модели, RAG — расширяет доступные факты, а промптинг управляет обоими подходами. Главный тезис: fine-tuning — это про форму, а не факты.
Автор объясняет, почему облачные API для эмбеддингов (OpenAI, Cohere, Google) никогда не будут бесплатными в масштабе, и предлагает альтернативу: запуск open-source моделей на собственном железе. Приводит конкретные модели, код для быстрого старта и варианты самостоятельного хостинга векторных баз.
Datalab выпустила Marker 2 — полностью переписанный open-source конвертер PDF/DOCX/изображений в markdown. На бенчмарке olmOCR он набрал 76% точности против 72.7% у MinerU, при этом обрабатывая документы в 5 раз быстрее (2.9 страниц/сек на B200 GPU). Три режима работы: balanced для максимальной точности на GPU, fast для баланса цены-качества и disable_ocr — чистый CPU без нейросетей.
Статья разбирает, почему оценка RAG-систем не может быть бинарной («работает/не работает»). Авторы предлагают детальную таксономию сбоев на всех этапах: от полноты корпуса источников и качества чанкинга до корректности извлечения, синтеза ответа и атрибуции цитат.
BGE-M3 от команды BAAI — это embedding-модель, которая впервые поддерживает три парадигмы поиска (dense, sparse и multi-vector retrieval) в одной модели. Раньше для гибридного поиска в RAG-системах приходилось разворачивать несколько моделей, что усложняло инфраструктуру. BGE-M3 упрощает архитектуру, сохраняя качество и гибкость.
Статья разбирает техническую архитектуру RAG-систем на уровне эмбеддингов и векторных баз данных. Автор объясняет, как превратить демо-прототип в production-ready решение, которое работает быстро и не съедает весь бюджет на инфраструктуру.
Автор делится опытом аварийного отказа системы на LangChain из-за транзитивных зависимостей и непрозрачности абстракций. Главная мысль: не бывает «одного фреймворка для всего» — выбирать нужно под конкретную нагрузку, а не по популярности.
Автор делится практическим опытом извлечения структурированных данных из беспорядочных PDF-документов для AI-систем. Главная мысль: чистые данные — миф, и большая часть работы в AI-проектах тратится не на модели, а на борьбу с документами, где нет явной структуры.
Автор показывает, что успех RAG-систем определяется не выбором векторной базы данных, а продуманной стратегией извлечения информации. Простой поиск top-K по эмбеддингам работает, но редко впечатляет пользователей.
Автор год строил retrieval-систему для AI-агентов и обнаружил, что качество определяют не выбор векторной БД или эмбеддинг-модели, а ранние архитектурные решения: размер чанков, способ извлечения данных, последовательность выбора компонентов. Многие из этих решений принимаются «по умолчанию» из туториалов и оказываются неоптимальными.
В 2023 году кастомные дообученные модели (fine-tuning) показывали впечатляющие результаты в специализированных задачах. Но к 2025-му общие модели (GPT-4, Claude и др.) догнали и опередили их благодаря огромным контекстным окнам, reasoning-способностям и технологиям вроде RAG. Автор разбирает, когда дообучение всё ещё имеет смысл, а когда — пустая трата времени.
Туториал по построению RAG-системы, которая работает не с текстом, а с изображениями страниц. Рендерит веб-страницы и PDF в картинки, нарезает на тайлы, создаёт векторные эмбеддинги через SigLIP/CLIP/Qwen3-VL, хранит в FAISS и комбинирует с OCR+BM25 для гибридного поиска. Код на Python с FastAPI, обучением адаптера и опциональной генерацией ответов через VLM.
Разработчик протестировал новый формат Google OKF (структурированные markdown-файлы со связями) против классического vector RAG на одних данных. RAG ответил верно на 2 из 7 вопросов, OKF — на 3, гибрид — на 4. Главная проблема: векторный поиск топит свежие короткие документы под устаревшими длинными (актуальный спек на 500 символов проиграл deprecated-доку на 4000), а OKF бессилен против длиннохвостых запросов по тикетам.
Разработчик построил WhatsApp-ассистента для небольшого бизнеса по домашней кухне, используя стандартную RAG-архитектуру (векторный поиск по эмбеддингам). Оказалось, что для базы знаний всего из 9 чанков RAG добавляет точку отказа без реальной пользы — проще и надёжнее передавать весь документ целиком в промпт.
Статья рассматривает фундаментальные ограничения современных больших языковых моделей при работе с огромными объёмами данных в кибербезопасности. Автор систематизирует технические проблемы: ограниченное контекстное окно, растущую вычислительную сложность, фрагментацию данных и проблемы извлечения релевантной информации — которые мешают LLM эффективно анализировать инциденты безопасности.
Исследователь адаптировал исламскую методологию проверки хадисов (isnād) для верификации данных в мультиагентных AI-системах. Вместо проверки только агента проверяется вся цепочка передачи информации — от источника до итогового ответа. Код и paper опубликованы.
Автор построил RAG-систему для анализа финансовых отчётов SEC и обнаружил, что большинство ошибок (71%) — это не галлюцинации, а неправильная привязка чисел к фискальным периодам. Модель находила верные данные, но путала, к какому году они относятся, когда в контексте были цифры за несколько лет подряд.
Автор за месяц запустил пять разных AI-ботов (от поддержки до голосовых FAQ) на одном стеке (Dialogflow CX, Vertex AI, RAG). Каждый бот ломался по-своему: галлюцинации создавали несуществующие политики возврата, контекст терялся, векторный поиск выдавал мусор. Статья — это отчёт о реальных проблемах в продакшене и конкретных решениях.
Автор построил локальную RAG-систему на румынском языке для ответов на вопросы о таможенных процедурах и протестировал распространённое допущение: что высокий скор релевантности при retrieval гарантирует точность ответа. Эксперимент показал, что это допущение не работает на практике, и потребовался другой механизм контроля.
