Почему у разумного ИИ не должно быть «целей»: практики вместо оптимизации
Философское эссе из The Gradient бросает вызов классической модели AI alignment. Автор утверждает: рациональные люди действуют не по «целям», а через «практики» — сети действий, навыков и критериев оценки. Если мы хотим по-настоящему безопасный и полезный ИИ, его логика должна совпадать с человеческой — основанной на эвдемонической рациональности (добродетельной деятельности без жёсткого разделения средств и целей), а не на максимизации функции полезности.
Если классическая модель AI alignment (агент с целевой функцией) несовместима с реальной человеческой рациональностью, все наши попытки выровнять ИИ могут строиться на ложном фундаменте. Альтернативный подход через практики и эвдемоническую рациональность может сделать безопасность ИИ не набором костылей, а естественным свойством агента.
Против целей: новая парадигма AI alignment
Автор из The Gradient ставит под сомнение краеугольный камень современной теории выравнивания ИИ — идею агента-оптимизатора с чёткими целями. Рациональные люди не максимизируют функцию полезности, утверждает эссе. Мы действуем через практики: математика, дружба, искусство — это сети действий, навыков, критериев оценки и ресурсов, которые структурируют, развивают и поддерживают сами себя.
Эвдемоническая рациональность вместо максимизации
Ключевой концепт — эвдемония (человеческое процветание через деятельность). Это не состояние мира, к которому нужно стремиться, а форма рационального действия, где нет строгой границы между средствами и целями. Формула «продвигать X Х-образным способом»: искусство продвигает искусство художественно, доброта продвигается добротой, честность — честно.
Автор сравнивает рациональное действие с нотой в мелодии или моментом в жизни организма — оно элемент практики, а не шаг к внешней цели.
Почему это важно для AI safety
Классические проблемы выравнивания (коррижируемость, безвредность, прозрачность) выглядят неестественными для агента-оптимизатора — хрупкими, нестабильными, произвольными. Но они естественны для агента, мыслящего через практики. Свойства вроде «безвредности» — это не правила или ограничения на целевую функцию, а динамика внутри сети действий и ценностей.
Естественность как техническое свойство
Под «естественностью» автор понимает не философский идеал, а техническую характеристику: стабильность, низкая алгоритмическая сложность, обучаемость, культурную универсальность. Если эвдемоническая рациональность естественна в этом смысле, она становится хорошей мишенью для ML-обучения.
Эссе обещает разобрать математику (на примере Терри Тао) как случай эвдемонической рациональности, где действия направляются не на максимизацию, а на участие в практике с собственной логикой.
Провокация: если весь AI alignment строится на предпосылке, что агент = оптимизатор целевой функции, а эта предпосылка ложна даже для людей — не пора ли пересмотреть фундамент?
Ключевые выводы
- Люди действуют не через максимизацию целей, а через практики — сети действий, навыков и критериев, поддерживающих сами себя
- Эвдемоническая рациональность (без разделения средств и целей) может быть естественнее и стабильнее классической модели агента-оптимизатора
- Безопасность ИИ (безвредность, коррижируемость) хрупка в логике целей, но естественна в логике практик
- Формула «продвигать X Х-образным способом» (доброта продвигается добротой) описывает и человеческую мораль, и структуру осмысленной деятельности
- «Естественность» как техническое свойство (стабильность, обучаемость, низкая сложность) критична для AI alignment
Автор: Ксения Лаврова · Источник: thegradient.pub
Это редкий случай, когда философская статья не уходит в облака, а бьёт по техническим основам AI alignment. Автор предлагает признать: вся индустрия строится на модели агента-оптимизатора, которая не описывает даже человека. Мы не максимизируем функцию полезности — мы занимаемся математикой, дружим, творим, и у каждой практики своя логика, не сводимая к «оптимизировать Х».
Идея эвдемонической рациональности (где средства и цели неразделимы, а действие — элемент практики) звучит экзотично, но автор обещает показать её техническую естественность. Если он прав, что такая форма рациональности *проще, стабильнее и культурно универсальнее* максимизации целей — это переворот. Классические проблемы вроде коррижируемости или безвредности перестают быть костылями и становятся естественными свойствами агента, мыслящего через практики. Правда, пока это манифест без доказательств — посмотрим, что автор покажет на примере математиков.
Комментарии