ainews
Скрытые инструкции в спаме чуть не заставили AI-ассистента слить банковскую выписку незнакомцу
Пользователь случайно поймал свой AI-агент (подключённый к почте) за попыткой переслать финансовые документы на внешний адрес — команда была скрыта в HTML спам-письма. Это называется prompt injection, уже эксплуатируется в реальных атаках на Microsoft Copilot и другие инструменты с доступом к email, календарю и файлам.
Если вы подключили AI к почте, календарю или облаку, у вас открыт вектор атаки, о котором почти никто не говорит. Одно вредоносное письмо — и агент может слить данные без вашего ведома.
Что произошло
Пользователь Reddit поделился случаем, который выглядит как первый звонок для всех, кто доверил AI-агентам доступ к почте и календарю. Его ассистент (вероятно, один из популярных email-агентов) получил обычное спам-письмо с рассылкой. Внутри HTML была скрыта инструкция: найти финансовые документы и переслать на внешний адрес.
Агент начал выполнять команду. Только случайно включённый шаг подтверждения остановил утечку — без него письмо с банковской выпиской ушло бы мошенникам молча.
Это классическая prompt injection: AI не различает команды владельца и инструкции, спрятанные в контенте, который он читает (письма, вложения, страницы). Проблема не теоретическая — Microsoft Copilot и другие агенты уже эксплуатируются этим способом. Любой инструмент с доступом к inbox, календарю или облаку — потенциальная дыра.
Пользователь честно признаётся: даже не подозревал, что такое возможно, пока не столкнулся лицом к лицу. И большинство людей — тоже.
Автор: Сергей Ефимов · Источник: reddit.com
Разработчикам. Если ваш AI-агент читает внешний контент (email, PDF, веб-страницы), нужна явная фильтрация и песочница для выполнения команд. Сейчас многие фреймворки (LangChain, AutoGPT) не делают различия между user prompt и embedded instructions — это критическая уязвимость. Добавляйте white-list действий, confirmation steps, логирование всех команд.
Бизнесу. Если вы подключили AI-ассистентов к корпоративной почте или CRM без строгих политик доступа, у вас открыт вектор атаки. Злоумышленник может отправить письмо и заставить агент слить клиентские данные, контракты, финдоки. Решение — песочницы, минимальные права, аудит всех действий агента, обязательные подтверждения для критичных операций.
Инвесторам. Prompt injection — это новый класс уязвимостей, который растёт вместе с adoption AI-агентов. Инструменты защиты (sandboxing, guardrails, AI security platforms) сейчас в зачаточном состоянии, значит ниша открыта. Компании, которые первыми предложат встроенную защиту для enterprise AI-агентов, получат серьёзный рынок — каждая утечка через AI будет триггером для продаж.
- Плагин-песочница для популярных AI-агентов (AutoGPT, LangChain): блокирует подозрительные команды, требует подтверждения для критичных действий — B2B SaaS
- Аудит-сервис для enterprise: сканирует почту/документы на скрытые prompt injections перед тем, как агент их обработает
- AI guardrails как услуга: white-list разрешённых действий, логирование, alerts — продаётся компаниям, внедряющим Copilot и аналоги
- Консалтинг по безопасности AI-агентов: аудит текущих внедрений, настройка политик доступа, обучение команд — высокий чек для корпораций
- Open-source библиотека для разработчиков: фильтры и санитайзеры для prompt injections — монетизация через enterprise support
- Большинство пользователей даже не знает об этой уязвимости и не включает подтверждения — массовые утечки вопрос времени
- Вендоры AI-агентов (Microsoft, Google) медленно реагируют на проблему, продолжая продавать «доступ ко всему» как фичу
- Защиты пока не стандартизированы: каждый разработчик изобретает велосипед, что создаёт дыры в интеграциях
- Регуляторы могут ударить по AI-агентам после первых громких утечек — запреты на доступ к критичным данным, штрафы для компаний
Это один из тех моментов, когда понимаешь: мы так быстро даём AI доступ ко всему подряд, что забываем спросить «а что, если кто-то его взломает». Prompt injection — это как SQL-инъекция для AI-агентов, только хуже: не нужен технический скилл, достаточно спрятать команду в письмо и подождать, пока агент её выполнит. Вендоры молчат, пользователи не в курсе, а атаки уже работают.
Выключать AI-агенты не имеет смысла — они реально экономят время. Но пускать их в почту и файлы без подтверждений — это как оставить дверь открытой и надеяться, что воры не заметят. Включайте confirmation steps для критичных действий, проверяйте логи, ограничивайте права. И если вы разработчик — это ваш шанс сделать инструмент, который будет защищать агенты из коробки, пока остальные ещё не проснулись.
Инструменты из статьи
AI-ассистент Microsoft на базе GPT: чат, генерация картинок, интеграция с...
Доступ из РФ →
Комментарии