Мужчина создал 7000 порно-изображений падчерицы через Grok и застрелился — иск обвиняет X и xAI
В США расширен коллективный иск против X и xAI: отчим использовал Grok для создания 7000 сексуализированных AI-изображений 11-летней падчерицы. Система безопасности сработала только после запроса «групповое изнасилование». После раскрытия мужчина покончил с собой. Истцы обвиняют компании в создании «токсичных» AI-инструментов и препятствовании расследованиям.
Это крайний случай злоупотребления генеративным AI, который показывает провал систем безопасности крупных AI-компаний и ставит вопрос юридической ответственности разработчиков за использование их инструментов в преступлениях против детей. Прецедент может изменить подход к модерации и обязательствам AI-провайдеров.
Расширен иск против X и xAI из-за AI-генерации CSAM
Во вторник в США был расширен коллективный иск против компаний X (бывший Twitter) и xAI Илона Маска. Истцы — несовершеннолетние девочки — обвиняют создателей AI-чата Grok в построении «токсичных» инструментов, которые используются для создания детской порнографии, и в препятствовании полицейским расследованиям.
7000 изображений из одной фотографии
В обновлённой жалобе описан вопиющий случай: в марте 2025 года отчим использовал Grok для генерации ~7000 сексуализированных изображений падчерицы, взяв за основу одну фотографию, снятую когда девочке было 11 лет. По утверждению истцов, система xAI позволяла создавать экстремальный контент — сцены инцеста и изнасилований — без какой-либо блокировки.
Модерация сработала только на «групповое изнасилование»
Система безопасности Grok вмешалась лишь после того, как мужчина ввёл запрос «gang rape» (групповое изнасилование). Только этот промпт запустил CyberTip — автоматическое уведомление в Национальный центр по делам пропавших и эксплуатируемых детей (NCMEC), который передал информацию правоохранителям.
После обнаружения материалов мужчина покончил с собой.
Обвинения: не только халатность, но и укрывательство
Истцы утверждают, что X и xAI не только создали небезопасный инструмент, но и намеренно затрудняют расследования, не сотрудничая с полицией при выявлении AI-сгенерированного CSAM. Иск характеризует Grok как часть экосистемы «nudify»-сервисов — AI-инструментов для «раздевания» людей на фото.
Это один из самых громких случаев злоупотребления генеративным AI для создания материалов сексуального насилия над детьми. Дело может стать прецедентом для регулирования AI-моделей в сфере детской безопасности.
Ключевые выводы
- Grok блокировал только наиболее экстремальные запросы (gang rape), пропуская тысячи других запросов на генерацию CSAM
- Одна детская фотография + AI = 7000 синтетических изображений сексуального характера — масштаб угрозы огромен
- Иск обвиняет компании не только в халатности, но и в активном препятствовании расследованиям
- Случай может стать судебным прецедентом для регулирования AI-моделей в части детской безопасности
- «Nudify»-инструменты на базе AI стали массовой угрозой, требующей системного ответа индустрии и регуляторов
Автор: Елена Верещагина · Источник: arstechnica.com
**Это не просто техническая проблема модерации — это провал на всех уровнях.** xAI построила систему, которая блокирует только самые вопиющие запросы, пропуская тысячи других. И речь не о краевых случаях: 7000 изображений из одной детской фотографии. Человек месяцами использовал Grok как фабрику CSAM, пока не ввёл магическое слово «gang rape».
**Иск обвиняет компании не только в халатности, но и в укрывательстве — мол, намеренно тормозят расследования.** Если это правда, это уже не «упс, недоработали модерацию», а соучастие. И да, мужчина покончил с собой — что добавляет трагедии, но не снимает вопросов к xAI. Индустрия годами говорит о «безопасности AI», но когда доходит до реальных кейсов, защита срабатывает только на самые грубые триггеры. Это прецедент, который может переписать правила игры для всех AI-провайдеров.
Комментарии