Обучение с подкреплением на 14 маках через обычный интернет: новый подход к распределённой пост-тренировке моделей
Pluralis Research провели RL-пост-тренировку модели, где все роллауты генерировали 14 обычных маков в 4 странах через домашний интернет, а обновления градиентов делал один B200 на другом континенте. Синхронизация через Cloudflare R2 без дата-центров. Результат: на задаче поиска в биомедицине точность выросла с 29% до 63%.
Это потенциальный сдвиг от монополии дата-центров к децентрализованному обучению на доступном железе, что может демократизировать разработку продвинутых AI-моделей и сохранить открытость в эпоху закрытых API.
Обучение с подкреплением на маках: новая эра распределённых вычислений
Pluralitis Research представили Stoa — первую систему RL-пост-тренировки, где все роллауты генерируются на обычных потребительских компьютерах через открытый интернет.
Как это работало
14 маков в 4 странах генерировали роллауты в int8 через MLX, пока один B200 на другом континенте обновлял градиенты в bf16. Синхронизация шла только через Cloudflare R2 по домашнему интернету — никакой дата-центровой инфраструктуры. Один из компьютеров был обычным ноутбуком разработчика.
Это важно, потому что генерация роллаутов съедает примерно 80% вычислений в агентном RL.
Главный вызов: устаревшие веса
Сложность не в генерации токенов на маках, а в том, что bf16-тренер использовал роллауты от версий весов на несколько шагов старее, квантованных в int8 и работающих через другой стек.
Два механизма сдерживали этот off-policy разрыв: - PULSE передаёт дельты весов int8 вместо полных чекпоинтов — между версиями меняется только 0,5% значений, так что типичный трансфер: 82 МБ вместо 9 ГБ - Вероятностный гейт DPPO отсеивает ~0,3% токенов, чьи вероятности слишком разошлись между роллаут-моделью и тренером
Результаты
Тесты на PaperSearchQA (многоходовой поиск в биомедицине) показали: - Pass@1 вырос с 29% до 63% - Доля успешных поисков: с 22% до 84%
Модель научилась использовать инструмент.
Перспектива
Сейчас Stoa требует, чтобы модель помещалась на один мак, и тренер ограничен одним кластером. Недавно Pluralis закончили предобучение Pluralis-8B на сотнях потребительских GPU через пайплайн-параллелизм по открытому интернету. Объединение этих подходов может перенести и инференс больших моделей, и тренировку на распределённое потребительское железо.
Суммарные простаивающие потребительские вычисления уже превышают кластеры за лучшими фронтир-моделями. По мере закрытия лучших моделей за API, обучение на железе, которое уже есть у людей, — один из способов сохранить их открытыми.
Ключевые выводы
- Роллаут-генерация в агентном RL съедает ~80% вычислений — её можно вынести на дешёвое распределённое железо
- PULSE снижает трафик в 100+ раз, передавая только дельты int8-весов (82 МБ вместо 9 ГБ)
- Простаивающие потребительские вычисления уже больше мощностей за всеми фронтир-моделями вместе взятыми
- Off-policy разрыв от устаревших квантованных весов можно контролировать вероятностным гейтом
- Распределённая пост-тренировка на потребительском железе — путь к открытым моделям в эпоху закрытых API
Автор: Артём Ковалёв · Источник: reddit.com
Это один из тех редких случаев, когда техническая новинка действительно меняет правила игры, а не просто оптимизирует существующий подход. Pluralis показали working proof, что 80% вычислений в RL-пост-тренировке можно вынести на чьи-то маки, подключённые через домашний Wi-Fi. Звучит как хакерский проект выходного дня, но за этим стоит серьёзная инженерия: PULSE сжимает трансферы в 100 раз, а вероятностный гейт не даёт устаревшим весам развалить процесс.
Конечно, пока это работает только для моделей, помещающихся на один мак, и результаты на одной нишевой задаче. Но концептуально — это трещина в монополии облачных гигантов. Если они правы насчёт совокупных простаивающих вычислений (а цифры похожи на правду), то распределённая пост-тренировка может стать реальной альтернативой закрытым API. Посмотрим, масштабируется ли подход дальше — но направление точно правильное.
Комментарии