Google OKF против обычного RAG: разработчик сравнил на 60 документах — оба провалились

Разработчикам. OKF даёт структурированную навигацию по знаниям вместо слепого vector search — полезно для стабильных концептов (архитектурные доки, API-спеки), но требует ручной кураторской работы. Гибридная схема (OKF для стабильной базы + vector RAG для сырых данных) показала лучший результат. Проблема chunking и ранжирования по устаревшим длинным документам остаётся критической — дата и версия должны попадать в метаданные чанка.

Бизнесу. Внедрение RAG на реальных корпоративных доках требует гибридной архитектуры: структурированные знания (политики, процессы) в OKF, операционные данные (тикеты, логи) в vector. Чистый RAG выдаёт устаревшую информацию и тихо врёт при неполном контексте — это риск для продуктовых и юридических решений. Инвестиции в кураторство базы знаний окупаются точностью ответов.

Инвесторам. OKF — попытка Google стандартизировать structured retrieval для LLM, но adoption будет медленным: требует ручной работы. Гибридные RAG-системы (vector + structured) — растущая ниша для B2B-инструментов. Проблема hallucination при композитных вопросах и outdated content остаётся болью рынка — решения типа reranking с temporal awareness или automatic versioning могут выстрелить.

• Платформа для автоматической конвертации корпоративных доков в OKF-формат с версионированием и связями — экономит кураторские часы
• Reranker с поддержкой temporal metadata: приоритизирует свежие документы, даже если они короче и менее релевантны по embeddings
• Гибридный RAG-as-a-Service: автоматом маршрутизирует запросы либо в OKF-индекс (стабильные знания), либо в vector search (операционные данные)
• Инструмент для детектирования композитных вопросов — подсказывает модели, когда нужно искать несколько источников и комбинировать
• Консалтинг по аудиту корпоративных RAG-систем: выявление outdated content bias и кастомизация chunking под специфику доков компании

• OKF требует постоянной ручной кураторской работы — неприменим для компаний без dedicated knowledge management team
• Даже гибрид OKF+RAG не дотянул до 60% точности — технология ещё сырая для критических бизнес-кейсов (compliance, медицина, финансы)
• Проблема silent hallucination (модель уверенно врёт, ссылаясь на источники) не решена ни одним подходом — риск юридических и репутационных потерь
• Локальная инфраструктура (Ollama + ChromaDB) может не масштабироваться на корпоративные объёмы — cloud-зависимость остаётся

Это редкий материал — не промо Google, а жёсткий практический тест с открытым кодом. Автор показал, что OKF решает узкую задачу (навигация по стабильным концептам), но не универсален. Гибрид лучше, но 57% точности — это провал для продакшена.

Главное открытие: vector RAG систематически ранжирует длинные тексты выше коротких, игнорируя актуальность. Это не баг конкретной библиотеки, а фича embeddings — они меряют семантическую близость, а не релевантность по времени или приоритету. Индустрия говорит про мультимодальность и reasoning, но пилит костыли поверх сломанного фундамента. Кто первым запилит temporal-aware reranker с автоматическим детектом deprecated контента — заработает на консалтинге enterprise-клиентам.