Как заставить AI думать до отказа: новая уязвимость reasoning-моделей
Исследователи из Китая обнаружили, что продвинутые AI-модели с цепочками рассуждений (reasoning models) можно намеренно заставить «переосмысливать» задачу до бесконечности, подсовывая им логически противоречивые промпты. Это превращается в DoS-атаку: модели генерируют тексты в 26 раз длиннее обычного, перегружая серверы и увеличивая затраты провайдера.
Reasoning-модели становятся стандартом индустрии (o3, DeepSeek-R1), но их ключевая способность — «думать перед ответом» — одновременно делает их уязвимыми к DoS-атакам. Это влияет на надёжность и экономику AI-сервисов.
Уязвимость reasoning-моделей
Современные LLM научились «думать вслух» — разбивать задачу на шаги и рассуждать перед ответом. Это резко расширило возможности AI в математике и программировании, но создало новую проблему: модели склонны к «overthinking» — избыточным рассуждениям, которые не улучшают результат.
Исследователи из Университета Чжэцзян и Alibaba показали на конференции ICML-2026, что этот эффект можно вызвать намеренно. Они разработали эволюционный алгоритм, который ломает логическую структуру промптов: перемешивает посылки между задачами, удаляет ключевые условия или подставляет вопросы к чужим данным.
Атака через эволюционный алгоритм
Метод работает так: берутся задачи из математических бенчмарков, LLM разбирает их логику на посылки и вопрос, затем генетический алгоритм «мутирует» структуру — меняет местами элементы, добавляет лишнее, удаляет нужное. После каждой мутации оценивается, насколько сильно модель «задумалась» (по длине ответа и маркерам типа «но», «подождите», «может быть»). Лучшие варианты идут в следующее поколение.
Результат: модели DeepSeek-R1, Qwen3-Thinking, GPT-o3 и Gemini 2.5 Flash выдавали ответы до 26 раз длиннее обычных. Причём атака не требует доступа к внутренностям модели — только API.
Реальность угрозы
Более длинные ответы = выше нагрузка на серверы и затраты провайдера. В масштабе это DoS-атака на коммерческие сервисы. Уязвимость проявилась не только на математике, но и на коде, научных задачах, диалогах.
Ограничение: генерация вредоносных промптов требует запросов к дорогим моделям. Но команда показала, что промпты, созданные на дешёвой модели, работают и против топовых — это делает атаку реально осуществимой.
Авторы подчёркивают: цель — не создать рабочий эксплойт, а обозначить уязвимость, чтобы провайдеры могли защититься.
Ключевые выводы
- Reasoning-модели уязвимы к логически противоречивым промптам, которые вызывают бесконечные циклы рассуждений
- Эволюционный алгоритм может автоматически генерировать такие промпты через чёрный ящик (без доступа к модели)
- Вредоносные промпты переносимы между моделями — можно создать на дешёвой, использовать против дорогой
- Атака эффективна против всех топовых reasoning-моделей: DeepSeek-R1, Qwen, GPT-o3, Gemini
- «Overthinking» — не баг отдельных моделей, а системная уязвимость архитектуры с цепочками рассуждений
Автор: Сергей Ефимов · Источник: spectrum.ieee.org
**Ирония в том, что «умные» модели оказались уязвимее простых.** Старые LLM отвечали сразу — их было сложно перегрузить. Новые reasoning-модели думают вслух, и это превратилось в ахиллесову пяту: подсунь противоречивую задачу — и модель зависнет в попытках решить нерешаемое, жгя токены и серверное время.
Авторы честно говорят: мы не строим оружие, а показываем дыру в броне. Но факт остаётся фактом — уязвимость воспроизводится на всех топовых моделях, включая o3 и DeepSeek-R1. Провайдерам придётся либо учить модели отличать нерешаемые задачи (что само по себе нетривиально), либо вводить жёсткие лимиты на длину reasoning'а. Второе проще, но убивает главное преимущество этих моделей — способность глубоко думать над сложными проблемами.
Комментарии