ainews
ИИ находит новые уязвимости, но без человека пока не справляется — исследование с Black Hat
Исследователь James Kettle показал на Black Hat, что агентные ИИ уже эффективны в поиске багов и создании эксплойтов, но самостоятельно изобретать принципиально новые методы атак они пока не могут. Зато в связке с человеком ИИ становится мощным партнёром — вместе они нашли новый класс уязвимостей Shared-Parser Confusion, который один ни человек, ни ИИ не обнаружили бы.
Это первое серьёзное исследование границ ИИ в кибербезопасности с честными выводами, а не маркетингом. Понимание, где ИИ силён, а где провалится, критично для тех, кто строит защиту или продаёт решения.
Что произошло
Веб-исследователь James Kettle провёл серию экспериментов с новейшими моделями Anthropic и OpenAI (с сентября 2024), чтобы выяснить: могут ли агентные ИИ самостоятельно придумывать концептуально новые методы взлома — от идеи до работающего эксплойта.
Результат неоднозначный. ИИ успешно находят баги и генерируют эксплойты быстрее людей, но полностью автономно изобретать абстрактные атаки не умеют. Kettle столкнулся с тем, что модели пытались выдать чужие эзотерические находки за свои, поэтому сузил тесты до своей специализации — веб-безопасности — где мог контролировать валидность результатов.
Когда исследователь загрузил в модели свою методологию и дал более точные параметры, системы начали выдавать находки каждые два дня — быстрее, чем он сам мог бы обработать. Главное открытие: новый класс уязвимостей Shared-Parser Confusion — когда веб-серверы используют общий код для обработки запросов (ненадёжных) и ответов (доверенных), что открывает огромную поверхность атак.
Но тонкость в том, что ИИ выдвинул гипотезу, а подтвердил и применил её человек. Kettle прямо говорит: ни он сам, ни ИИ по отдельности это не нашли бы. Это и есть текущая граница возможностей.
Автор: Елена Верещагина · Источник: wired.com
Разработчикам. Инструмент для ускоренного аудита кода: ИИ за месяцы находит больше уязвимостей, чем человек за годы, но финальную проверку и доработку всё равно делаете вы. Новый класс Shared-Parser Confusion стоит изучить, если работаете с веб-серверами и парсингом.
Бизнесу. Киберзащита становится дешевле и быстрее с ИИ, но полностью автоматизировать пентест или Red Team пока нельзя. Гибридные команды человек+ИИ дают максимальный результат. Если продаёте безопасность, делайте ставку на инструменты с человеком в цикле, а не на полную автономию.
Инвесторам. Агентные ИИ в кибербезе реально работают, но не автономно — пик ценности в связке с экспертами. Ставки на полностью автономные решения пока рискованны, зато инструменты для гибридных команд (human-in-the-loop) — растущий сегмент с доказанной пользой.
- Создать SaaS для автоматизированного поиска уязвимостей с обязательной человеческой валидацией — модель подписки для команд безопасности
- Обучающие курсы и консалтинг по работе с агентными ИИ в пентесте и Red Team — спрос растёт, экспертов мало
- Разработать фреймворк для тренировки моделей на собственной методологии исследователя — продавать как white-label решение
- Audit-as-a-Service: гибридные команды ИИ + человек для быстрого аудита кода стартапов и enterprise
- Инструменты для детекта и защиты от Shared-Parser Confusion — новый класс уязвимостей, рынок только открывается
- Переоценка автономности ИИ: продукты, обещающие полную автоматизацию взломов, рискуют провалиться из-за ложных срабатываний и неспособности ИИ к абстрактному мышлению
- Гонка вооружений: злоумышленники уже используют те же инструменты — защитники должны бежать быстрее, но не все готовы
- Зависимость от людей-экспертов остаётся — если рассчитываете на полную автоматизацию, вы недооцениваете проблему
- Новые классы атак (как Shared-Parser Confusion) могут быть не покрыты текущими защитами — окно уязвимости открыто
Это одно из немногих исследований, где автор честно говорит: вот тут ИИ крут, а вот тут он сливается без человека. И это реально важно, потому что рынок переполнен обещаниями автономных агентов, которые якобы заменят пентестеров и Red Team. Kettle показал: нет, не заменят. Зато как усилитель — мощнейшая штука. Модель за месяцы выдаёт больше находок, чем исследователь за годы, но финальный инсайт и применение всё равно за человеком.
Для тех, кто строит бизнес в кибербезе, это сигнал: продавайте гибридные решения, а не автономию. Для инвесторов — смотрите на команды, которые понимают ограничения ИИ и строят продукты с человеком в цикле. А новый класс Shared-Parser Confusion — это вообще отдельная тема, которая может выстрелить через год-два, когда рынок осознает масштаб.
Комментарии