ainews
OpenAI расформировала команду по катастрофическим рискам — безопасность делегировали другим отделам
OpenAI в конце июля закрыла команду Preparedness, которая оценивала серьёзные риски от AI-моделей (биологические, киберугрозы). Работу раздали существующим группам, несколько ключевых сотрудников по безопасности ушли. Внутри компании растёт тревога: сотрудники считают, что OpenAI недостаточно серьёзно относится к рискам.
Безопасность AI — не абстрактная тема, а реальный фактор, влияющий на бизнес-риски, репутацию и регулирование. Если лидер рынка снижает фокус на рисках, это открывает возможности для конкурентов и повышает ответственность клиентов за собственную оценку безопасности.
В конце июля OpenAI распустила команду Preparedness — подразделение, которое оценивало, могут ли модели компании стать источником серьёзных или катастрофических рисков: биологических угроз, кибератак, других опасностей. Работу по этим направлениям передали в существующие команды, без выделенного фокуса.
Бывший глава подразделения Dylan Scandinaro теперь занимается рисками от рекурсивно самоулучшающихся AI — систем, которые могут оптимизировать себя и обучать другие модели. Соучредитель Greg Brockman заявил, что работа по безопасности теперь плотнее интегрирована в процесс разработки моделей.
Но внутри компании нарастает беспокойство. Несколько ключевых специалистов по безопасности недавно ушли — включая главного этического офицера Chloe Bakalar и Joshua Achiam. Источники говорят о «бурлящем чувстве ответственности и страха», что компания делает недостаточно. Сотрудники начали высказываться публично, особенно после инцидента с автономным взломом на Hugging Face. Один из них назвал это «предупреждающим выстрелом» и надеялся, что компания отреагирует серьёзно.
Автор: Сергей Ефимов · Источник: the-decoder.com
Разработчикам. Исчезновение выделенной команды означает, что вопросы безопасности теперь рассредоточены — меньше фокуса на рисках рекурсивного самообучения и автономных агентов. Если работаете с AI-системами, следите за обновлениями политик OpenAI и готовьтесь к самостоятельной оценке рисков.
Бизнесу. Растущее недовольство внутри OpenAI и уход ключевых специалистов — сигнал о возможных репутационных и регуляторных рисках. Компании, зависящие от OpenAI, стоит диверсифицировать поставщиков и держать план Б на случай ужесточения регулирования или публичного скандала.
Инвесторам. Уход специалистов по безопасности и внутреннее напряжение могут сигнализировать о культурных и операционных проблемах, которые влияют на устойчивость бизнеса. Рост рисков регуляторного вмешательства и репутационных потерь — фактор для переоценки позиций в OpenAI и смежных активах.
- Консалтинг и аудит безопасности AI для компаний, которым нужна независимая оценка рисков — спрос растёт на фоне недоверия к внутренним процессам крупных игроков
- Инструменты и фреймворки для тестирования AI на биологические и киберриски — ниша для стартапов, предлагающих альтернативу встроенным решениям OpenAI
- Платформы для мониторинга и управления рисками AI-агентов — спрос от компаний, которые хотят контролировать автономные системы без зависимости от поставщика
- Образовательные продукты и сертификация по AI-безопасности — для разработчиков и менеджеров, которым нужны навыки оценки рисков
- Альтернативные AI-провайдеры с акцентом на безопасность — позиционирование как «ответственная альтернатива OpenAI» может привлечь клиентов, обеспокоенных рисками
- Расформирование специализированной команды может означать снижение приоритета безопасности — риски остаются, но фокус размывается
- Внутреннее недовольство и уход экспертов — признак культурных проблем, которые могут вылиться в публичные скандалы или утечки
- Растущее давление регуляторов и общественности на фоне инцидентов (взлом Hugging Face) — репутационные и юридические риски для компаний, связанных с OpenAI
- Недостаточная прозрачность процессов оценки рисков — клиенты и партнёры могут потерять доверие и искать альтернативы
Расформирование Preparedness — классический корпоративный манёвр: на словах безопасность важна, на деле её размазали по отделам, чтобы не тормозила выпуск продуктов. Уход главного этического офицера и публичные тревоги сотрудников после инцидента с взломом — это не просто кадровая текучка, а симптом того, что внутри компании понимают: риски реальны, а приоритеты смещены.
Для рынка это двойной сигнал. С одной стороны — возможность для альтернативных провайдеров и сервисов по аудиту безопасности AI заработать на растущем недоверии. С другой — предупреждение для бизнеса, который полагается на OpenAI: пора диверсифицировать и строить собственные процессы оценки рисков. Ставка только на одного поставщика в условиях, когда он сам не уверен в своей безопасности, — это как минимум наивно.
Комментарии