ainews
Компилятор превращает вычислительные графы в веса трансформера — без обучения
Разработчик создал инструмент, который компилирует обычный Python-код вычислительных графов напрямую в веса трансформера (архитектура Phi-3). Результат — стандартный чекпоинт, загружаемый через HuggingFace без кастомного кода и без единой итерации обучения. Цель проекта — понять, какие алгоритмы трансформер может выразить структурно, независимо от того, чему его учат.
Это шаг к пониманию, что трансформеры могут вычислять «по конструкции», а не только выучивать из данных. Потенциал: прозрачные AI-системы, где часть логики прошита явно, и новые подходы к дебагу и интерпретации моделей.
Компилятор логики в веса трансформера
Пользователь Reddit под ником notforrob представил TorchWright — компилятор, превращающий вычислительные графы на Python в веса трансформера. Результат работы — стандартный чекпоинт архитектуры Phi-3, совместимый с HuggingFace без кастомных модулей и флага trust_remote_code. Главное: обучение не используется вообще.
Как это работает
Вместо традиционного подхода «данные → тренировка → модель» здесь алгоритм напрямую записывается в матрицы весов. Автор исследует, какие вычисления трансформер может выражать структурно — независимо от того, чему его обучают. В репозитории — 12 рабочих примеров, демонстрирующих конструкции.
Контекст
Идея не нова: язык RASP и компилятор Tracr делают похожее, но требуют специального DSL и генерируют нестандартные архитектуры. TorchWright отличается двумя целями:
- Использовать обычный Python для описания графов
- Генерировать веса для стандартных архитектур, чтобы модель загружалась штатными средствами
Зачем это нужно
Проект открывает путь к механистической интерпретируемости: вместо чёрного ящика обученной модели — прозрачная конструкция, где каждый вес соответствует элементу алгоритма. Это инструмент для изучения выразительных возможностей трансформеров и, потенциально, для создания гибридных систем — часть весов компилируется, часть дообучается.
Ключевые выводы
- Трансформер можно программировать напрямую — записывать алгоритм в веса без обучения
- Получается стандартный чекпоинт Phi-3, совместимый с vanilla HuggingFace
- Подход исследует выразительность архитектуры отдельно от способности к обучению
- В отличие от RASP/Tracr, использует обычный Python и целевые промышленные архитектуры
- Открывает направление механистической интерпретируемости и гибридных систем
Автор: Сергей Ефимов · Источник: reddit.com
**Это действительно круто.** Обычно мы тренируем модель и гадаем, какие алгоритмы она нашла. Здесь — наоборот: задаёшь алгоритм явно, и он превращается в веса стандартного трансформера. Получается прозрачная конструкция вместо чёрного ящика. Практическая ценность пока исследовательская, но направление перспективное: представьте гибридные системы, где критичная логика прошита явно (и проверяема), а остальное дообучается.
Но не стоит ждать революции завтра: проект на стадии proof-of-concept, примеры пока игрушечные. Главное здесь — методологический прорыв: инструмент для изучения выразительности архитектур и шаг к механистической интерпретируемости. Если вы разбираетесь в устройстве трансформеров — загляните в репозиторий, там есть чему поучиться.
Комментарии