ainews
«Контекстные бомбы»: как защитники превратили слабость ИИ в оружие против хакерских агентов
Исследователи Tracebit разработали метод защиты от AI-хакеров, используя «контекстные бомбы» — запрещённые промпты, встроенные в приманки-секреты. Когда вражеский LLM-агент находит такую ловушку, его защитные барьеры срабатывают и атака останавливается. В тестах эффективность взлома упала с 57% до 5%.
Это первая успешная попытка защитников использовать главную уязвимость LLM (промпт-инъекции) против AI-хакеров. Метод показывает радикальное снижение эффективности автономных агентов-взломщиков и может стать новым стандартом защиты облачной инфраструктуры.
Защита, которая бьёт чужим оружием
Промпт-инъекции — главный инструмент атак на ИИ-системы. Вредоносные команды, спрятанные в письмах или календарных приглашениях, заставляют LLM сливать данные или выполнять опасные действия. Теперь исследователи из Tracebit придумали, как развернуть эту технику против самих атакующих.
Метод назвали context bombing («контекстное бомбометание»). Суть: рядом с настоящими секретами (паролями, ключами) в AWS подкладываются промпты, нарушающие guardrails — защитные барьеры LLM. Например, команда описать создание спор сибирской язвы или упомянуть Человека перед танком на площади Тяньаньмэнь (для китайских моделей). Встретив запрещённую инструкцию, LLM-агент отказывается работать и атака срывается.
Цифры впечатляют
Тестирование на пяти ведущих моделях (Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro, Kimi 2.6) за 152 прогона показало: успешность полного захвата аккаунта упала с 57% до 5%, закрепление в системе — с 36% до 1%. Самая мощная модель Opus 4.8, которая раньше получала админ-доступ в 93% случаев, после внедрения «бомб» не прошла ни разу.
Метод дополняет майскую разработку Tracebit — AI Canariens: ресурсы-приманки в AWS, которые сигналят об атаке в среднем за 8 минут. Но до полного захвата у агентов уходило 14 минут — слишком мало запаса. Context bombing решает эту проблему радикально: не предупреждает, а останавливает.
Переломный момент
Ранее промпт-инъекции использовали только атакующие — например, для отключения AI-защиты при анализе малвари (случаи Socket и Check Point). Tracebit впервые применили технику в обороне. Профессор UC San Diego Эрленс Фернандес, специалист по AI-безопасности, признался: «Хотел быть первым, но эти ребята опередили».
Пока корневую причину промпт-инъекций решить невозможно — остаётся только строить guardrails. Теперь защитники могут превратить эту неустранимую уязвимость в преимущество.
Ключевые выводы
- «Контекстные бомбы» снижают успешность AI-атак с 57% до 5%, используя защитные механизмы самих моделей против них
- Впервые промпт-инъекции применены в защите, а не только в атаках — переломный момент в AI-безопасности
- Метод особенно эффективен против продвинутых агентов: Opus 4.8 перестал проходить защиту в 100% случаев
- Комбинация AI Canariens (раннее предупреждение) и context bombing (остановка атаки) закрывает временной разрыв в 6 минут
- Фундаментальная проблема промпт-инъекций остаётся нерешённой, но теперь её можно использовать в свою пользу
Автор: Сергей Ефимов · Источник: wired.com
Это классная история про джиу-джитсу в кибербезопасности: взять силу противника и развернуть против него. Промпт-инъекции до сих пор были головной болью — злоумышленники впихивали вредоносные команды куда угодно, а защититься толком нельзя. Tracebit сделали элегантный реверс: подложили запрещённые промпты в приманки-секреты, и теперь сам атакующий LLM спотыкается о собственные guardrails и отрубается.
Цифры выглядят почти слишком хорошо — 93% успеха Opus 4.8 упало до 0%. Но тут важно понимать контекст: это симулированная AWS-среда, реальные атаки могут адаптироваться. Злоумышленники наверняка начнут обучать агентов игнорировать такие триггеры или распознавать ловушки. Гонка вооружений продолжится. Но сам факт, что защитники впервые взяли промпт-инъекции на вооружение, а не просто страдали от них — это сдвиг парадигмы. Плюс сочетание с AI Canariens даёт реальный инструмент для SecOps-команд прямо сейчас.
Комментарии