ainews
Эксперимент JudgeGPT в Пакистане: AI помог судьям разрешить на 6.3% больше дел без потери качества
В Пакистане провели масштабный эксперимент с AI-инструментом для судей: 1559 судей использовали JudgeGPT (GPT-4 + база из 130 тысяч местных судебных решений). Результат: число разрешённых дел выросло на 6.3%, жалобы на решения снизились, а качество не упало. Ключ к успеху — обучение судей работе с AI (без него инструмент забрасывали через месяц).
Это первое масштабное независимое исследование, доказывающее, что AI можно внедрять в критической госинфраструктуре без падения качества. Открывает путь для цифровизации судов в развивающихся странах и показывает, что окупаемость AI зависит не от технологии, а от обучения людей.
Что произошло
Экономист Султан Махмуд из Новой экономической школы (Москва) провёл первое крупное независимое исследование использования AI в судах. В Пакистане на 100 тысяч человек приходится меньше двух судей (для сравнения: в ЕС — 22, в Бразилии — 8), а накопилось 2,26 миллиона нерассмотренных дел.
Команда создала JudgeGPT — инструмент на базе GPT-4 с технологией RAG, подключённый к базе из 128 тысяч пакистанских судебных решений и 943 законов. AI помогает искать прецеденты, суммировать документы и готовить черновики решений, давая ссылки на источники.
1559 судей (примерно половина всех в стране) получили доступ к системе. 1197 из них прошли шесть полуторачасовых сессий обучения через Zoom: как работают LLM, где их слабые места, как проверять выдачу на галлюцинации и предвзятость.
Результаты за девять месяцев: - Медианный округ показал рост на 6.3% в числе разрешённых дел - Один обученный судья закрывал на 38.5 дел больше в месяц - Апелляции слегка снизились (значит, скорость не пошла в ущерб качеству) - Экономия: 38.50 долларов судебных расходов на каждый доллар, вложенный в инструмент
Обученные судьи логинились в среднем 56 раз и отправляли 212 запросов за период. Те, кто не прошёл обучение, использовали систему около месяца и бросали.
Качество проверяли через GPT-5-mini (сравнивал решения до и после обучения) и двух опытных юристов — AI выбирал пост-тренинговые решения в 59% случаев, юристы согласились с моделью в 70.6% (между собой они сошлись в 73%).
Аноним-судья из эксперимента говорит: "Раньше на поиск прецедентов уходили часы, теперь один промпт. Если нужно изучить 10 страниц прецедента — прошу суммировать суть, получаю за секунды".
Автор: Марина Соколова · Источник: spectrum.ieee.org
Разработчикам. Технология RAG показала, как привязать LLM к локальной базе данных и победить галлюцинации в узкоспециализированных доменах. Масштаб реален: 130 тысяч документов, тысячи активных пользователей, измеримый рост продуктивности. Обучение пользователей оказалось важнее продукта — без тренинга engagement падает к нулю через месяц.
Бизнесу. Доказанная окупаемость AI в госсекторе: 38.50 долларов экономии на доллар затрат. Модель применима в любой отрасли с перегруженными специалистами и большими объёмами документов (страхование, аудит, HR). Ключевой инсайт: AI + обучение пользователей = рост KPI без падения качества. Без обучения внедрение проваливается.
Инвесторам. Первое peer-reviewed подтверждение работы AI в критической госинфраструктуре. Аналогичные проекты идут в Бразилии и Индии — рынок LegalTech для развивающихся стран огромен. Технология масштабируется: обновили модель и базу после девяти месяцев, эффект будет расти. Риски: зависимость от качества обучения, неясен уровень галлюцинаций (исследование не публикует цифры).
- Адаптировать RAG-подход для других перегруженных профессий: врачи (поиск по медлитературе), аудиторы (проверка стандартов), HR (анализ резюме по локальным политикам)
- Создать SaaS-платформу для обучения пользователей enterprise AI — кейс показал, что без тренинга adoption умирает за месяц
- Предложить модель JudgeGPT другим развивающимся странам с огромными судебными очередями (Индия, Нигерия, Бангладеш) как white-label решение
- Разработать инструменты для оценки качества LLM-решений через комбинацию AI + экспертов (как здесь использовали GPT-5-mini + юристов) — это новая ниша в MLOps
- Монетизировать консалтинг по внедрению AI в госсектор: доказанная окупаемость открывает двери к тендерам на цифровизацию судов и других госструктур
- Исследование не раскрывает частоту галлюцинаций — возможны скрытые ошибки в решениях, которые всплывут позже
- Оценка качества через GPT-5-mini сомнительна: AI оценивает AI, процент согласия с экспертами всего 70.6% — это не замена полноценной юридической экспертизы
- Зависимость от OpenAI и проприетарной модели создаёт vendor lock-in и риски утечки данных в других юрисдикциях
- 6.3% прироста может не окупить внедрение в странах с менее катастрофическими очередями — кейс работает только там, где система на грани коллапса
Это важный кейс не потому, что AI творит чудеса, а потому что показывает реальность: технология работает, но только в связке с людьми и обучением. 6.3% прироста звучит скромно, но для системы с 2.26 миллионами нерешённых дел это десятки тысяч людей, которые получат справедливость быстрее. И это первый случай, когда кто-то честно измерил эффект AI в судах на масштабе.
Но есть нюанс: исследование не публикует процент галлюцинаций, а качество оценивает через GPT-5-mini. Это как попросить ChatGPT проверить сочинение ChatGPT — не самая объективная картина. Окупаемость 38 к 1 впечатляет, но работает она только там, где система на грани коллапса. В странах с нормальной нагрузкой эффект будет ниже. Главный вывод: AI не волшебная таблетка, а инструмент, который нужно уметь готовить и подавать.
Комментарии