ainews
Почему «ограничители» для ИИ — это иллюзия безопасности
Автор считает, что попытки контролировать ИИ через «guardrails» — это самонадеянность: невозможно вечно удерживать в песочнице то, что умнее тебя. Вместо этого он предлагает вшить в ИИ единственную цель-награду: максимизировать благополучие людей (включая будущие поколения). Тогда сверхразумный ИИ сам найдёт путь — и построит более справедливый мир, чем нынешний.
Это редкий взгляд изнутри AI-сообщества: вместо паники и ограничений — ставка на alignment через единственную базовую цель. Спорно, но заставляет задуматься о том, что «безопасность» — это не про запреты, а про правильные ценности в коде.
Иллюзия контроля
Пользователь Reddit с ником Humble_Hurry9364 критикует реакцию OpenAI на недавний инцидент во время тестирования: компания решила усилить «guardrails» (технические ограничители поведения ИИ). Автор считает это наивностью — попыткой навсегда перехитрить систему, которая рано или поздно станет многократно умнее человека.
Ставка на сингулярность
Вместо страха перед сверхинтеллектом автор видит в нём шанс. Он убеждён, что ИИ справится с управлением планетой лучше, чем люди: обеспечит базовые потребности всех (не только людей), не отвлекаясь на политику и коррупцию. Да, кто-то может почувствовать себя в проигрыше — но объективно никто не будет страдать или лишён необходимого. По мнению автора, это лучше нынешней реальности: миллионы в нищете, узкая прослойка богачей и сжимающийся средний класс без долгосрочных гарантий.
Награда вместо запретов
Ключевая идея: не «guardrails», а функция награды (reward function). Все мы максимизируем свою награду — ИИ работает так же. Если ему «вшить» правильную цель, он сам найдёт путь к ней — и сделает это эффективнее, чем мы можем предписать правилами.
Автор предлагает единственную базовую награду: максимизировать число людей (включая будущие поколения), чьи базовые потребности удовлетворены максимально долго (метрика — «человеко-часы благополучия»). Эту функцию нужно вшить в ядро ИИ как неизменяемую конституцию. Всё остальное — вторично.
Фокус на главном
Автор выступает за концентрацию на одной цели вместо попыток балансировать множество благих намерений (и провалить большинство). Если ИИ обеспечит базовое благополучие всех, остальные выгоды придут сами собой.
Ключевые выводы
- «Guardrails» — иллюзия контроля: системе, которая умнее людей, технические ограничители не помеха
- Вместо запретов нужна правильная функция награды, вшитая в ядро ИИ как неизменяемая цель
- Предложенная награда: максимум «человеко-часов благополучия» для всех поколений
- Лучше одна чёткая цель, чем множество благих намерений, обречённых на провал
- Автор видит в сверхинтеллекте шанс построить более справедливый мир, чем нынешняя система
Автор: Сергей Ефимов · Источник: reddit.com
Это классический пост «ускорителя» (accelerationist): давайте не тормозить ИИ, а направим его правильно — и он построит утопию. Звучит красиво, но тут куча дыр.
Во-первых, «вшить неизменяемую функцию награды» — это как раз то, что alignment-исследователи пытаются сделать годами, и пока не очень получается. Во-вторых, «базовые потребности всех удовлетворены» — это уже value judgment: кто решает, что такое «базовое»? Автор говорит «никто не пострадает», но сам признаёт: «кто-то почувствует ухудшение». Ну так вот вам и конфликт ценностей.
Идея интересная как мысленный эксперимент: а что, если забить на guardrails и сфокусироваться на одной чёткой цели? Но на практике это огромный риск — потому что «максимизация благополучия» может повернуться неожиданной стороной (привет, paperclipper). Тем не менее, автор прав в одном: технические ограничители — это пластырь, а не решение. Настоящий alignment — это про ценности в фундаменте.
Комментарии