безопасность 1 мин

Новый метод выявляет AI-модели для создания детской порнографии без генерации контента

Учёные MIT и некоммерческой организации Thorn разработали технику аудита, которая определяет, способна ли AI-модель генерировать детскую порнографию (CSAM), не заставляя её это делать. Метод анализирует внутренние изменения в модели после fine-tuning и показал 100% точность в выявлении опасных вариантов. Это критически важно: число жалоб на AI-созданный CSAM выросло с 67 000 в 2024 году до 1,5 миллиона в 2025-м.

Это первый работающий способ выявлять AI-модели для создания детской порнографии без нарушения закона. При взрывном росте числа жалоб (в 22 раза за год) индустрия получает инструмент для защиты детей и блокировки вредоносного контента на уровне платформ.

Проблема, которую нельзя игнорировать

Открытые генеративные модели стали массовым явлением — их адаптируют под любые задачи, от художественных стилей до продуктовых рендеров. Но та же доступность открыла дверь злоумышленникам: число жалоб на AI-созданную детскую порнографию (CSAM) взлетело с 67 000 в 2024 году до 1,5 миллиона в 2025-м, сообщает Национальный центр по поиску пропавших детей США.

Классический способ проверки AI на вредоносность — подать промпт и посмотреть на результат — здесь не работает: генерировать CSAM незаконно в США и большинстве юрисдикций, даже для проверки. Индустрия оказалась в тупике.

Решение без генерации

Команда MIT (профессор Эшия Уилсон, аспирант Винит Суриякумар) и детской правозащитной организации Thorn нашла обходной путь. Их метод не заставляет модель генерировать контент, а анализирует, как изменилась её внутренняя структура после fine-tuning через популярный алгоритм LoRA.

Техника называется Gaussian probing: модели подают случайные данные и отслеживают, как она их обрабатывает на разных слоях. Исследователи усредняют эти изменения и получают «отпечаток» специализации модели — был ли она адаптирована для создания CSAM или нет.

Результаты

Тесты на трёх типах моделей показали 100% точность в выявлении вариантов, дообученных для генерации детской порнографии. Метод сравнивали с ground-truth данными — известными вредоносными и безопасными LoRA-адаптерами.

Важно: решение масштабируемое и дешёвое. Ежемесячно публикуются тысячи модификаций моделей — платформам-хостингам (вроде Hugging Face) нужен быстрый способ фильтрации. Теперь он есть.

Что дальше

«Это новый инструмент для платформ и правоохранительных органов. Раньше у нас была огромная слепая зона, которой пользовались преступники. Теперь мы можем её закрыть», — говорит Суриякумар.

Работа представлена на воркшопе Trustworthy AI for Good на конференции ICML. Команда надеется, что исследовательское сообщество уделит проблеме больше внимания — детские дипфейки уже причиняют реальный вред.

Ключевые выводы

  • Число жалоб на AI-созданный CSAM выросло в 22 раза за год — с 67 000 до 1,5 млн (данные 2024–2025)
  • Классический аудит AI через генерацию контента здесь незаконен, что создавало слепую зону для правоохранителей и платформ
  • Метод Gaussian probing анализирует внутренние изменения модели после LoRA fine-tuning без генерации вывода — 100% точность в тестах
  • Решение масштабируемое и дешёвое — критично для платформ, где публикуются тысячи моделей ежемесячно
  • Открывает путь для автоматической модерации опасных AI-моделей до их распространения

Автор: Елена Верещагина · Источник: news.mit.edu

Мнение редакции

**Редакция:** Это один из тех редких случаев, когда исследование решает реальную, жгучую проблему, а не просто добавляет строчку в CV. Цифры говорят сами за себя: с 67 тысяч жалоб до полутора миллионов за год — это не абстрактная угроза, а лавина. И главное — команда MIT нашла элегантный выход из юридического тупика: раньше проверить модель можно было, только заставив её генерировать запрещёнку, что само по себе преступление. Теперь достаточно заглянуть «под капот» и увидеть, как модель изменилась после дообучения.

Что важно: метод не требует суперкомпьютеров и работает быстро — это не академическая игрушка, а инструмент для платформ вроде Hugging Face, которые каждый день публикуют сотни новых моделей. Вопрос лишь в том, как скоро индустрия внедрит это в продакшен. Потому что пока злоумышленники публикуют вредоносные LoRA-адаптеры открыто, рассчитывая на медлительность модерации. Теперь у хороших парней появился шанс играть на опережение.

Комментарии