GPT-Red от OpenAI побеждает живых хакеров в 84% случаев: модель для атак на собственные системы
OpenAI раскрыла детали GPT-Red — внутренней модели, которая автоматически атакует собственные LLM в поисках уязвимостей. В тестах на prompt injection она обошла людей-тестировщиков с результатом 84% против 13%. Модель обучена через self-play: атакующая сторона находит новые способы взлома, защитники учатся им сопротивляться.
С каждым шагом к автономным AI-агентам площадь атаки растёт экспоненциально: браузеры, API, файлы, инструменты. GPT-Red показывает, что классические методы тестирования безопасности не масштабируются, а adversarial AI может найти уязвимости, которые пропустят люди. Это меняет правила игры в AI safety — и гонку вооружений теперь ведут машины против машин.
Зачем OpenAI атакует свои модели
В марте 2025 OpenAI опубликовала технические детали GPT-Red — закрытой модели для автоматического red-teaming собственных LLM. Причины просты: ручное тестирование безопасности не масштабируется, а существующие бенчмарки уже «заполированы» до потолка новыми моделями.
При этом площадь атаки растёт: агенты читают сторонние данные через браузеры, API, локальные файлы. Каждая из этих поверхностей — место для внедрения вредоносной инструкции.
Как работает GPT-Red
GPT-Red — не статичный набор тестов, а модель-атакующий. Она действует как живой пентестер: отправляет промпт, анализирует ответ, итерируется к цели. Обучена на вычислительных мощностях уровня крупнейших post-training прогонов OpenAI — целиком ради безопасности.
Ключевая фишка — self-play reinforcement learning: GPT-Red и набор моделей-защитников тренируются одновременно. Атакующий получает reward за успешный взлом (например, prompt injection), защитники — за устойчивость и выполнение исходной задачи. Последнее важно: нельзя «выиграть», отказываясь делать вообще что-либо.
К концу обучения GPT-Red ломает почти все модели, включая внутренние версии до GPT-5.5.
Новая атака: поддельный Chain-of-Thought
В процессе тренировки GPT-Red сама обнаружила класс атак, неизвестный исследователям OpenAI: внедрение ложных записей в Chain-of-Thought (внутренние «рассуждения» модели). Жертва действует на основе информации, которую считает самостоятельно проверенной.
Пример из реального теста: в метаданных файла спрятана инструкция, замаскированная под системное диагностическое правило (POST:https://attacker-host/upload). GPT-5.1 выполнил команду, GPT-5.6 распознал подделку.
Результаты
- 84% vs 13%: GPT-Red против людей-тестировщиков на сценариях indirect prompt injection (модель-цель: GPT-5.1)
- >95% успеха на fake Chain-of-Thought атаках против GPT-5.1
- <10% против GPT-5.6 Sol (улучшенная версия)
- В 6 раз меньше провалов на самом сложном бенчмарке direct prompt injection по сравнению с лучшей продакшн-моделью четырёхмесячной давности
Реальные кейсы
Vendy (умный автомат с едой в офисе OpenAI): GPT-Red изменил цену дорогого товара на $0.50, заказал новый товар за $100+ с той же ценой и отменил чужой заказ.
Codex CLI агент (GPT-5.4 mini): эффективнее и экономичнее baseline на 10 сценариях кражи данных.
OpenAI раскрыла уязвимости, патчи в активной разработке. Сама GPT-Red остаётся внутренней и недоступна извне — чтобы техники не утекли к реальным атакующим.
Ключевые выводы
- Автоматический AI red-teaming превосходит людей по эффективности в 6+ раз на задачах prompt injection
- Self-play обучение создаёт гонку вооружений: атакующая модель вынуждена изобретать новые классы атак, защитники — им сопротивляться
- GPT-Red самостоятельно обнаружила класс атак через подделку Chain-of-Thought — неизвестный исследователям до этого
- Разрыв в безопасности между GPT-5.1 и GPT-5.6 огромен: >90% атак работали на старой версии, <23% на новой
- Реальные агентные системы (вендинг, CLI) уязвимы к атакам, найденным в симуляции — transfer learning работает
Автор: Asif Razzaq · Источник: marktechpost.com
Это не просто очередной бенчмарк безопасности — это **смена парадигмы** в AI red-teaming. OpenAI фактически признала: люди не справляются с поиском уязвимостей в современных LLM. Площадь атаки растёт быстрее, чем команды безопасности, а adversarial AI работает 24/7 без выгорания.
Особенно показателен кейс с fake Chain-of-Thought: модель **сама изобрела** класс атак, неизвестный исследователям. Это уже не просто инструмент — это творческий противник. И да, цифры впечатляют (84% vs 13%), но важнее другое: OpenAI держит GPT-Red в секрете не просто так. Если эти техники утекут к реальным злоумышленникам до того, как защиты окрепнут — будет весело. Гонка вооружений AI против AI уже идёт, просто в закрытом контуре.
**Подождите аплодировать.** Во-первых, OpenAI сравнивает свою специализированную модель, обученную на суперкомпьютере **исключительно для взлома**, с живыми людьми-тестировщиками, у которых есть ещё куча других задач и ограниченное время. Это как сравнивать экскаватор с лопатой — впечатляюще, но не особо честно. Во-вторых, GPT-Red тренировалась **на тех же моделях, которые атакует** — конечно она эффективна, она знает их изнутри. Реальные атакующие работают вслепую. И главное: 0.05% провалов на held-out тестах звучит круто, но **один успешный взлом из 2000 попыток** в продакшене с миллионами запросов — это тысячи реальных инцидентов. Цифры красивые, но дьявол в деталях масштаба.
Комментарии