ainews
Meta месяцами показывала рекламу с AI-сгенерированным CSAM — и получала за это деньги
Исследователи нашли в библиотеке рекламы Meta более 50 платных объявлений с AI-сгенерированными изображениями сексуального насилия над детьми и ссылками на nudify-приложения. Реклама прошла модерацию, показывалась пользователям в США и Европе с ноября 2023 по август 2024, приносила компании доход. Meta удалила объявления только после обращения журналистов.
Показывает провал AI-модерации в критичной области и сигнализирует о росте спроса на решения для детекции синтетического контента и compliance. Платформам и стартапам нужно срочно пересматривать подходы к модерации.
Что произошло
Исследовательская группа Tech Transparency Project обнаружила в открытой библиотеке рекламы Meta более 50 платных объявлений, содержащих AI-сгенерированные изображения сексуального насилия над детьми. Реклама показывалась с ноября 2023 по август 2024 года пользователям в США, Великобритании и более чем 10 странах Европы.
Объявления продвигали nudify-приложения (создают поддельные обнажённые фото), содержали эксплицитный контент и сексуализированные подписи вроде «Могу показать больше». Одно видео использовало лицо ребёнка из превью, накладывая его на сексуальные сцены с взрослыми. По данным Meta, одно объявление охватило 2563 аккаунта только в Европе.
Вся реклама прошла автоматизированную модерацию Meta и была одобрена к показу. Компания удалила объявления только после запроса от WIRED — причём исследователи нашли ещё 30 новых случаев уже после первого обращения в Meta, включая рекламу, которая показывалась в момент обнаружения.
Meta заявила, что большинство объявлений имели «минимальный охват», а недавно запущенная AI-система для обнаружения нарушений «постоянно улучшается». Но факт: система пропустила платную рекламу CSAM, которая месяцами висела в открытой библиотеке.
Автор: Елена Верещагина · Источник: wired.com
Разработчикам. AI-модерация контента — нерешённая проблема даже у гигантов с миллиардными бюджетами. Nudify-приложения создаются на открытых моделях, детекция синтетического CSAM требует специализированных датасетов и постоянного апдейта классификаторов. Запускаете платформу с UGC — закладывайте многоуровневую модерацию и человеческий контроль на критичных категориях с первого дня.
Бизнесу. Скандал бьёт по репутации Meta в момент, когда регуляторы ЕС и США усиливают давление на соцсети за безопасность детей. Компаниям, работающим с AI-генерацией контента или рекламными платформами, грозят новые compliance-требования, штрафы и судебные иски. Nudify-приложения — зона токсичного риска: монетизация через рекламу таких сервисов ведёт к репутационным и юридическим потерям.
Инвесторам. Инцидент показывает провал автоматизированной модерации даже у Meta с её ресурсами — это сигнал для инвестиций в технологии детекции синтетического контента, CSAM-сканеры и compliance-решения. Регуляторное давление на платформы вырастет, что создаёт спрос на B2B-сервисы для модерации и проверки контента. Nudify-приложения — зона высокого legal risk, держитесь подальше от инвестиций в такие стартапы.
- Запускать B2B-сервис детекции синтетического CSAM для платформ и рекламных сетей — специализированные AI-классификаторы, API для интеграции в модерацию
- Создать compliance-платформу для рекламных систем: автоматизированная проверка креативов на токсичный контент до публикации, отчётность для регуляторов
- Разрабатывать инструменты watermarking для AI-генерации изображений, чтобы отслеживать происхождение контента и предотвращать злоупотребления
- Предлагать аудит и консалтинг по безопасности для платформ с UGC и рекламой — проверка процессов модерации, тренинг команд, внедрение human-in-the-loop систем
- Строить инфраструктуру для быстрого удаления вредоносного контента: автоматические интеграции с базами NCMEC, системы для массового takedown
- AI-модерация не работает даже у Meta — переоценка возможностей автоматизации в критичных областях, человеческий контроль пока незаменим
- Репутационный риск для любого бизнеса, связанного с AI-генерацией контента — регуляторы и общественность будут требовать жёсткого контроля
- Юридические последствия: платформы будут нести прямую ответственность за размещение CSAM, даже если это прошло через автоматику
- Nudify-приложения и подобные сервисы — зона токсичного бизнеса, любая связь с ними ведёт к судам, санкциям и утрате партнёров
Это не просто очередной скандал Meta — это приговор всей концепции «AI справится сама». Компания с бюджетом на модерацию в миллиарды долларов месяцами показывала платную рекламу с сексуальным насилием над детьми, получала за неё деньги, а удалила только когда журналисты ткнули носом. Автоматические системы пропустили эксплицитный контент, который даже не пытались маскировать — это провал не технологии, а подхода.
Для индустрии это сигнал: модерация критичного контента требует человеческого контроля, а экономия на compliance выйдет боком. Платформы будут под давлением регуляторов, спрос на B2B-решения для детекции синтетического контента вырастет. Но главное — nudify-приложения и подобная дрянь это не серая зона, а прямой путь к судам и репутационному краху. Держитесь от них подальше, если не хотите стать следующим заголовком.
Комментарии