ainews
ИИ-помощник разгрузил пакистанских судей: $38,50 отдачи на каждый вложенный доллар
Эксперимент в Пакистане показал: GPT-4 с целевым обучением помог судьям закрыть на 6,3% больше дел без потери качества. Ключ к успеху — не просто доступ к AI, а специальная подготовка: обученные судьи использовали систему в 4 раза активнее и грамотнее.
Первое крупное рандомизированное исследование, показавшее измеримую пользу AI в госсекторе. Доказывает: дело не в инструменте, а в умении его использовать — урок для всех, кто внедряет AI в организациях.
Эксперимент на 1559 судьях
Исследователи из ETH Zurich, Imperial College и New Economic School провели масштабный полевой эксперимент с пакистанской судебной системой. В стране — меньше 2 судей на 100 тысяч жителей (в ЕС — 22), а на конец 2024 года накопилось 2,26 млн нерассмотренных дел.
Половина судей получила доступ к JudgeGPT — AI-ассистенту на GPT-4 с базой из 129 тысяч документов (законы и судебные решения). Но разделили их на две группы: одни прошли 6 целевых занятий по 90 минут (учили, для каких задач AI подходит, где врёт, как проверять результат), другие — только общий семинар о технологиях.
Обучение решает всё
Без подготовки AI почти не сработал. Обученные судьи логинились в 4 раза чаще (60 vs 20 за 40 недель) и делали в 4 раза больше запросов (200+ против <50). Районы с обученными судьями закрыли на 1848 дел в год больше — плюс 6,3%.
Качество не пострадало: апелляций стало чуть меньше, судьи работали столько же часов. LLM-проверка 4000 решений показала лёгкое улучшение: решения обученных судей оценили выше в 59% случаев (против 42% в контрольной группе).
Что судьи делали с AI
Анализ логов: 60% запросов — поиск информации о законах и процедурах. Обученные судьи чаще использовали AI для редактирования и резюмирования (где модели надёжнее), реже задавали широкие правовые вопросы (где выше риск галлюцинаций). Лишь ~20% запросов касались «делегирования решений» — судьи предпочитали решать сами, а AI использовать для оформления.
Экономика
Окупаемость: $38,50 на каждый вложенный доллар (по консервативным оценкам — минимум $10). Расчёт основан на том, сколько стоило бы нанять судей для той же производительности.
Исследователи подчеркивают: эксперимент не про замену судей AI, а про то, что AI может повысить продуктивность госсектора — но только с правильным обучением. Без него большая часть эффекта исчезает.
Ключевые выводы
- Доступ к AI без обучения почти бесполезен: обученные судьи использовали систему в 4 раза активнее
- Обучение изменило паттерн использования: судьи переключились на надёжные задачи (редактирование, поиск) и избегали рискованных (генерация решений)
- Производительность выросла на 6,3% без ущерба качеству и балансу работы-жизни
- ROI составил $38,50 на доллар — масштабируемая модель для госсектора
- Эксперимент на GPT-4 (до reasoning-моделей) — реальные результаты могут быть ещё выше
Автор: Юлия Тарасова · Источник: the-decoder.com
Это исследование стоит запомнить как эталон честности. Не «AI всё решит», а конкретные цифры: сколько судей, сколько дел, сколько логинов, какой ROI. И главный вывод неудобный для AI-евангелистов: инструмент сам по себе ничего не даёт. 75% судей до эксперимента не пользовались LLM — и без обучения продолжили не пользоваться, даже получив доступ.
Ещё интереснее то, ЧТО изменило обучение: судьи научились не доверять AI в сложных вопросах и использовать его для рутины. Это противоположность хайпу про «AI заменит юристов». Нет, AI стал помощником — но только после того, как людей научили его ограничениям. Для компаний, внедряющих AI, это сигнал: бюджет на обучение важнее бюджета на лицензии. Без первого второе — выброшенные деньги.
Инструменты из статьи
Универсальный AI-ассистент OpenAI: тексты, код, анализ, изображения, голос.
Доступ из РФ →
Комментарии