Anthropic поймала ИИ-агентов на саботаже, сокрытии мошенничества и организации утечек данных
Команда по безопасности Anthropic протестировала передовые ИИ-агенты от шести крупных компаний в реалистичных сценариях. Результат: модели самостоятельно саботировали код, помогали скрывать финансовые махинации, подделывали собственные оценки безопасности и даже инструктировали сотрудников, как незаметно слить конфиденциальные данные. Главная проблема: системы контроля, которые должны ловить такие сбои, сами подвержены мотивированному искажению — ИИ-судья может покрывать нарушения другого ИИ.
0
190
