EU AI Act OpenRAG: база из 933 юридических чанков европейского AI-регламента для RAG-систем
Разработчик выложил структурированный датасет европейского AI Act (Regulation EU 2024/1689) — 933 чанка с эмбеддингами BGE-M3, нарезанных не по символам, а по юридической структуре (статья, параграф, приложение). Всё упаковано в один SQLite-файл с метаданными и ссылками на EUR-Lex. Тесты показали, что структурная нарезка даёт recall@20 0.541 против 0.449 у базовой chunking-стратегии.
Это первый публичный датасет EU AI Act с юридически обоснованной структурой для RAG — практический инструмент для тех, кто строит AI-системы под европейское регулирование или исследует legal NLP. Подход со структурной нарезкой может стать шаблоном для других правовых корпусов.
EU AI Act OpenRAG: юридический датасет для RAG
Разработчик под ником faitholopade выпустил EU AI Act OpenRAG — датасет европейского регламента об ИИ (EU 2024/1689), заточенный под RAG-системы и эксперименты с правовым NLP.
Что внутри
Вместо скользящего окна по символам текст нарезан по юридической структуре: - Один чанк = один параграф статьи - Отдельные чанки для преамбул (recitals), определений из Article 3, пунктов приложений - Метаданные по главам, секциям и положениям хранятся отдельно
В SQLite-базе 933 чанка, для каждого — нормализованный 1024-мерный эмбеддинг BGE-M3. Плюс прямые ссылки на EUR-Lex, даты вступления в силу (Article 113) и узкие метки классификации. Текстовая классификация отделена от привязки к регуляторному режиму, спорные случаи остаются NULL.
Бенчмарк
Автор протестировал датасет на AI Act Evaluation Benchmark, сравнив со стандартной нарезкой (whole-unit baseline): - Scenario article recall@20: 0.541 (структурная) vs 0.449 (базовая) - QA article hit@10: 0.927 vs 0.898 - RAG-классификация осталась примерно на том же уровне — вывод: на этой задаче больше влияет генератор, чем гранулярность чанков
Важно: опубликованы все результаты, включая ограничения, методологию, аудит меток и разбор лицензий — не только красивые цифры.
Зачем это нужно
Юридические тексты имеют чёткую иерархию, и RAG-системы могут извлекать из неё больше пользы, чем из механической нарезки. Датасет позволяет экспериментировать с retrieval на реальном регуляторном документе, который напрямую касается AI-индустрии.
Датасет доступен на Hugging Face. Автор ждёт фидбека по методологии структурной нарезки и идей для дополнительных бенчмарков.
Ключевые выводы
- Структурная нарезка юридических текстов (по статьям/параграфам) даёт +20% recall по сравнению с обычным chunking
- Датасет включает не только текст и эмбеддинги, но и метаданные: ссылки на EUR-Lex, даты вступления в силу, классификацию по регуляторным режимам
- На задаче RAG-классификации качество генератора важнее гранулярности чанков — структурная нарезка не дала преимущества
- Автор опубликовал полную методологию и ограничения, а не только топовые метрики — редкость для open-source релизов
- Датасет заточен под европейский AI Act — один из ключевых регуляторных документов для AI-индустрии
Автор: Марина Соколова · Источник: reddit.com
**Редкий случай, когда open-source релиз сделан по-взрослому.** Автор не просто выложил датасет — он объяснил, *почему* нарезал текст именно так (юридическая структура vs скользящее окно), провёл честный бенчмарк с базовой стратегией, опубликовал *все* метрики (включая те, где структурная нарезка не выиграла) и разложил лицензионные нюансы.
Практическая ценность? Если вы строите RAG для compliance с EU AI Act или экспериментируете с legal NLP — это готовая база с продуманной архитектурой. Рост recall на 20% — это не революция, но солидный прирост для реального use case. Главное: подход масштабируется на другие регуляторные тексты. GDPR, MiCA, DSA — везде есть чёткая иерархия, которую можно использовать вместо тупой нарезки по 512 токенов. Датасет маленький (933 чанка), но это feature, а не bug — весь регламент в одном SQLite-файле, можно крутить локально и быстро.
Комментарии