ainews
Создать
Войти
Разработчик создал компилятор, который превращает вычислительные графы в веса трансформера, и портировал алгоритм рендеринга Doom напрямую в архитектуру модели. Результат — трансформер на 21B параметров, который генерирует пиксельные команды для отрисовки кадра из Doom. Оригинальный Doom выдавал 35 FPS на 486-м процессоре, эта версия — 35 кадров в день на B200.
Разработчик вручную записал алгоритм умножения столбиком в веса трансформера, минуя обучение. Результат — 100% точность на числах до 12 знаков, когда GPT-4 и остальные топ-модели на семизначных числах падают до 0% успеха. Инструмент Torchwright компилирует классические алгоритмы в архитектуру Phi-3.
Разработчик портировал рендерер Doom в веса трансформера, написав для этого собственный компилятор. Модель не обучалась — каждый вес вычислен. Промпт содержит геометрию уровня и позицию игрока, генерация выдаёт команды отрисовки. Версия 320x200 — 21B параметров, рендерит кадр за 40 минут на B200. Доступна облегчённая версия 80x50 на 34 ГБ.
Энтузиаст создал encoder-only трансформер на основе BERT, который прогнозирует уровень глюкозы у диабетиков на 2 часа вперёд, используя историю сахара, углеводов и инсулина. Модель обучалась на симуляторах и реальных датасетах (OhioT1DM, AZT1D, ShanghaiT1DM), крупнейшая версия — 17 млн параметров. Код и веса выложены под MIT-лицензией, есть версия для смартфона, работающая на личных данных автора.
В длинных диалогах AI начинает забывать инструкции, противоречить себе и терять фокус. Причина не в «усталости» модели, а в архитектурных ограничениях: контекстное окно переполняется, а трансформеры хуже всего работают с информацией из середины контекста (эффект «lost in the middle»). Разные продукты по-разному решают проблему — обрезают историю, сжимают или извлекают релевантные части.
Автор разбирает распространённое заблуждение, что attention можно «прикрутить» к любой модели для улучшения. На примере от логистической регрессии до трансформеров показано, что внимание работает только там, где есть части входа, взаимодействующие друг с другом. Отдельно объясняется, почему оригинальное позиционное кодирование в трансформерах было заменено на RoPE.
Статья объясняет техническую архитектуру LLM через три ключевых компонента: токенизацию текста, механизм контекстного окна и структуру параметров нейросети. Автор разбирает, как трансформеры обрабатывают последовательности токенов, почему контекст — это временная рабочая память, а параметры — долгосрочные паттерны, и как attention-механизм позволяет модели предсказывать следующий токен.
Команда Reactor выложила полный код Dreamer 4 — системы, которая строит виртуальную модель игрового мира и умеет генерировать кадры игры, предсказывая физику и действия. Вместо закрытого исследования Google — рабочий пайплайн на JAX с конфигами, демо в браузере и честным разбором проблем обучения.
Автор исследует философские и математические основы архитектуры Transformer, описанной в статье «Attention Is All You Need» (2017). Он утверждает, что фундаментальные идеи трансформеров не должны работать с точки зрения классической математики и теории вероятностей, но работают — и объясняет почему, а также что нужно изменить для приближения ИИ к человеческому уровню.
Статья объясняет три базовых понятия, без которых невозможно разобраться в работе больших языковых моделей: словарь (vocabulary) как полный набор известных модели текстовых единиц, токены как минимальные обрабатываемые фрагменты текста и эмбеддинги как векторные представления, которые несут семантическую информацию.
Разработчик создал инструмент, который компилирует обычный Python-код вычислительных графов напрямую в веса трансформера (архитектура Phi-3). Результат — стандартный чекпоинт, загружаемый через HuggingFace без кастомного кода и без единой итерации обучения. Цель проекта — понять, какие алгоритмы трансформер может выразить структурно, независимо от того, чему его учат.
Статья объясняет базовые принципы работы больших языковых моделей простым языком. Автор разбирает ключевые концепции — токены, эмбеддинги, трансформеры, обучение и предсказание следующего токена — без сложной математики, показывая, что в основе LLM лежит относительно простая идея предсказания следующего элемента в последовательности текста.
