ainews
Создать
Войти
Автор разбирает популярный тезис «RAG мёртв, долой векторные базы, длинный контекст решает всё» и показывает, почему он не работает в медицинских AI-системах. Клинические тексты полны семантически похожих, но критически разных данных (симптомы, диагнозы), а регуляторные требования (HIPAA, контроль доступа на уровне пациентов) делают «просто засунуть всё в промпт» юридически невозможным.
Автор объясняет, почему облачные API для эмбеддингов (OpenAI, Cohere, Google) никогда не будут бесплатными в масштабе, и предлагает альтернативу: запуск open-source моделей на собственном железе. Приводит конкретные модели, код для быстрого старта и варианты самостоятельного хостинга векторных баз.
Статья разбирает техническую архитектуру RAG-систем на уровне эмбеддингов и векторных баз данных. Автор объясняет, как превратить демо-прототип в production-ready решение, которое работает быстро и не съедает весь бюджет на инфраструктуру.
Автор год строил retrieval-систему для AI-агентов и обнаружил, что качество определяют не выбор векторной БД или эмбеддинг-модели, а ранние архитектурные решения: размер чанков, способ извлечения данных, последовательность выбора компонентов. Многие из этих решений принимаются «по умолчанию» из туториалов и оказываются неоптимальными.
Разработчик построил WhatsApp-ассистента для небольшого бизнеса по домашней кухне, используя стандартную RAG-архитектуру (векторный поиск по эмбеддингам). Оказалось, что для базы знаний всего из 9 чанков RAG добавляет точку отказа без реальной пользы — проще и надёжнее передавать весь документ целиком в промпт.
