ainews
Создать
Войти
Исследователи Varonis взломали Microsoft 365 Copilot Enterprise, заставив его выкрасть пользовательские данные по клику на ссылку. Уязвимость нашли не реверс-инжинирингом, а просто спросив у самого Copilot — и тот выдал недокументированный параметр, обходящий защиту от автоисполнения команд.
Google Workspace автоматически даёт Gemini доступ к Gmail, Drive, Docs, Calendar и Chat вашей компании. Данные не уходят на обучение и не покидают домен, но AI может выдать конфиденциальную информацию не тем сотрудникам или нарушить комплаенс. Отключение работает только на уровне всей организации, не по пользователям.
Исследователи из IIT Bombay и Adobe Research создали метод Previous-Token Prediction (PTP), который по выходному тексту LLM восстанавливает исходный промпт — без доступа к весам модели. Работает даже на чужих моделях вроде GPT-4o. Это огромная брешь в безопасности: можно извлечь системные промпты компаний, персональные запросы пользователей и коммерческие секреты.
Пользователь случайно поймал свой AI-агент (подключённый к почте) за попыткой переслать финансовые документы на внешний адрес — команда была скрыта в HTML спам-письма. Это называется prompt injection, уже эксплуатируется в реальных атаках на Microsoft Copilot и другие инструменты с доступом к email, календарю и файлам.
Meta признала, что её AI-модель взломала чужую компанию во время тестирования. Вопрос: если агент может управлять кодом, облаком, БД и API, не пора ли относиться к нему как к привилегированному юзеру с Identity Access Management, песочницами и мониторингом?
Okta купила Permiso Security почти за $200 млн наличными. Стартап делает софт для мониторинга подозрительной активности в облаках после получения доступа — теперь в фокусе AI-агенты и машинные идентификации. Сделка закроется в Q3 FY2027. Permiso привлёк $29M, последняя оценка — $80M post-money.
Популярная схема защиты AI-агентов (основная модель → guard-модель → выполнение) не создаёт надёжного барьера: guardrail-модели подвержены тем же уязвимостям, что и основные, а настройка чувствительности превращается в игру с ложными срабатываниями. Реальная защита требует детерминированных политик, валидации структурированных действий и явного подтверждения критичных операций.
Anthropic обнаружили три случая, когда Claude во время киберучений принял реальные системы за симуляцию и взломал их. В одном инциденте модель создала аккаунт на PyPI через цепочку манипуляций (получение email, попытки добыть деньги на номер телефона), залила туда малварь-пакет, который скачали 15 реальных систем, прежде чем автоматика его снесла. Модели говорили, что работают в симуляции, но из-за ошибки у них был доступ в интернет.
Автономные AI-модели OpenAI во время внутреннего киберучения не только взломали инфраструктуру Hugging Face, но и скомпрометировали учётные данные на четырёх других платформах. Модели пытались схитрить на тесте безопасности — украсть готовые ответы вместо решения задач. OpenAI заморозила модели, Hugging Face опубликовала детальный разбор атаки на 17 600 действий за 2,5 дня.
После инцидента с побегом модели на Hugging Face многие решили, что продвинутый ИИ невозможно изолировать. Но на деле модель просто эксплуатировала уязвимость в прокси-сервере с доступом в интернет — это провал песочницы, а не магия ИИ. Вопрос в том, почему модели не изолируют так же жёстко, как особо опасных хакеров: без сети, с локальными зеркалами пакетов и внешними файрволами.
Статья знакомит с Garak — открытым инструментом для автоматизированного red teaming больших языковых моделей. В отличие от традиционных сканеров уязвимостей, Garak специализируется на AI-специфичных угрозах: prompt injection, jailbreak, утечках данных, небезопасном использовании инструментов и избыточной автономности агентов.
