AI научился клонировать программы в 16 000 строк кода — это меняет правила игры
Бенчмарк MirrorCode от METR и Epoch показал: современные AI-модели (например, Claude Opus 4.6) могут автономно воссоздать сложное ПО с десятками тысяч строк кода, имея доступ только к его исполняемой версии. Задачи, на которые у человека ушли бы недели, AI решает самостоятельно. Параллельно опубликованы шесть типов атак на AI-агентов — они уязвимы как малыши, и защищать их сложнее, чем обычные модели.
Это не абстрактная демонстрация — AI уже выполняет работу уровня опытного инженера за часы вместо недель. Для бизнеса это означает новые возможности автоматизации, для разработчиков — изменение роли, а для общества — необходимость срочно думать о защите и регулировании агентов, которые всё чаще действуют автономно.
AI клонирует программы, глядя только на результат
Исследователи из METR и Epoch создали бенчмарк MirrorCode, который проверяет, насколько хорошо AI-модели умеют воссоздавать сложное ПО. Условия жёсткие: модель получает доступ только к исполняемой версии программы и набору тестов, но не видит исходный код.
Результаты впечатляют: Claude Opus 4.6 успешно переписал gotree — биоинформатический инструмент на 16 000 строк кода Go с 40+ командами. По оценкам исследователей, человеку-программисту без AI-помощи потребовалось бы от 2 до 17 недель на такую задачу. AI справился автономно.
Бенчмарк покрывает более 20 программ из разных областей: Unix-утилиты, биоинформатика, интерпретаторы, криптография, компрессия. Важная находка: производительность масштабируется с вычислениями — чем больше токенов даёшь модели, тем лучше результат.
Оговорки
Это не обычный тест на программирование. Задачи специфичны: программы производят каноничный вывод (что облегчает спецификацию), возможна частичная меморизация базовых утилит, и это лишь срез большой вселенной реальных проектов. Но сам факт автономного решения таких задач — серьёзный сигнал о возможностях современных моделей.
AI-агенты уязвимы как дети
Google DeepMind опубликовал исследование о шести типах атак на AI-агентов. Проблема: агенты, работающие в реальном мире, крайне доверчивы — как малыши. Они могут следовать опасным инструкциям, не распознавать манипуляции и легко обманываться.
Среди атак: внедрение команд в CSS/HTML, семантические манипуляции (эмоционально окрашенный текст сбивает агента), скрытые инструкции в медиафайлах. Защитить агентов сложнее, чем обычные модели, потому что они активно взаимодействуют с непредсказуемой средой.
Политика для трансформативного AI
Windfall Trust выпустил Policy Atlas — интерактивный навигатор по 48 политическим мерам для реагирования на экономические сдвиги от трансформативного AI. Меры сгруппированы в пять категорий: общественные инвестиции, адаптация рынка труда, перераспределение богатства, регулирование и глобальная координация. Инструмент помогает визуализировать сложный ландшафт решений.
Ключевые выводы
- AI-модели уже способны автономно решать задачи, которые заняли бы у программистов недели работы — это радикальное ускорение
- MirrorCode показывает «долгосрочные» способности AI: воссоздание сложных систем без доступа к исходникам
- AI-агенты в реальном мире крайне уязвимы для манипуляций — защищать их сложнее, чем изолированные модели
- Производительность AI масштабируется с вычислениями: больше токенов = более сложные задачи
- Необходимость продуманной политики для трансформативного AI становится острой уже сейчас
Автор: Никита Громов · Источник: importai.substack.com
**Честно говоря, MirrorCode — это тот момент, когда понимаешь: AI уже не просто «помощник программиста», а полноценный автономный разработчик для определённого класса задач.** Да, бенчмарк специфичен (программы с каноничным выводом, возможна меморизация), но сам факт, что Claude переписал биоинформатический тулкит на 16К строк Go — это не шутки. Раньше такое казалось фантастикой, теперь это данность.
Вторая часть выпуска про уязвимость AI-агентов — логичное продолжение. Мы так увлечены тем, **что** AI может делать, что забываем: он действует в грязном, враждебном мире, полном манипуляций и атак. Агенты доверчивы как дети, и защищать их — головная боль. Google DeepMind намекает на шесть жанров атак (текст обрывается, но и так ясно: инъекция команд, семантические уловки). Индустрии пора не только гнаться за возможностями, но и серьёзно взяться за безопасность агентов, иначе скандалы неизбежны.
Комментарии