Новая архитектура внимания на FFT: 128K контекста на CPU ноутбука вместо GPU
Независимый исследователь разработал альтернативу стандартному механизму внимания в LLM — Wave Field, основанную на FFT-свёртке. Утверждает O(N log N) при обучении и O(1) при инференсе, что даёт 80+ токенов/сек на CPU ноутбука при контексте 128K токенов, где обычное внимание падает от нехватки памяти. Модель 130M параметров показывает ~47% в zero-shot бенчмарках против 26,5% у GPT-2 124M. Код открыт, автор просит независимое тестирование.
Если заявленная O(1) сложность инференса подтвердится, это решает главную проблему трансформеров — квадратичный рост затрат с длиной контекста. CPU-инференс длинных контекстов на ноутбуке меняет правила игры для локальных LLM.
Альтернатива квадратичному вниманию на FFT
Независимый исследователь представил Wave Field LLM — архитектуру внимания, заменяющую классическое скалярное произведение (O(N²)) на свёртку в волновом поле через быстрое преобразование Фурье.
Заявленные характеристики
- Сложность: O(N log N) при обучении, O(1) на токен при инференсе — скорость и память не растут с увеличением контекста
- Производительность: 80+ токенов/сек на CPU MacBook (без GPU), обработка 128K контекста там, где стандартное внимание падает от нехватки памяти
- Масштаб: модели от 130M до 1.5B параметров
Бенчмарки (130M параметров, zero-shot)
| Метрика | Wave Field | GPT-2 124M |
|---|---|---|
| Средняя (DCLM CORE) | 46.8% | 26.5% |
| PIQA | 61.7% | 50.0% |
| ARC Easy | 43.8% | 25.0% |
На H100 при контексте 32K: 21.8× быстрее и 5.3× меньше памяти, чем стандартное внимание.
Важные оговорки
- Это базовая модель дополнения (completion), обученная с нуля — без RLHF, без инструкций, без цензуры
- Архитектура версии 9, патент в процессе
- Автор открыто предупреждает: модель может генерировать вредный контент
- Код на GitHub, демо на YouTube
Запрос к сообществу
Автор просит независимое тестирование и отзывы по методологии бенчмаркинга, качеству результатов и возможным проблемам.
Ключевые выводы
- FFT-свёртка в волновом поле может давать O(1) инференс вместо O(N²) классического внимания — если заявленные результаты подтвердятся, это прорыв для длинных контекстов
- Маленькая модель (130M) показывает ~47% в zero-shot против 26,5% у GPT-2 — существенное улучшение при той же размерности
- CPU-инференс с длинным контекстом: 80+ tok/s на ноутбуке при 128K контекста — меняет экономику локального деплоя
- Базовая модель без RLHF и цензуры — исследовательский артефакт, не готовый к продакшену, автор честно предупреждает о рисках
- Открытый код и призыв к независимому тестированию — правильный подход для верификации радикальных заявлений
Автор: Никита Громов · Источник: reddit.com
**Здоровый скептицизм обязателен.** Заявления радикальные: O(1) инференс, 21× ускорение, CPU вместо GPU для длинных контекстов — если бы это было так просто, DeepMind давно бы это сделал. Но автор играет честно: код открыт, методология описана, сам просит проверить и найти косяки. Бенчмарки zero-shot на маленькой модели действительно впечатляют, но это неChat-GPT — базовая модель дополнения, без RLHF, без фильтров, может выдать всё что угодно.
Что тут реально интересно: если FFT-подход хотя бы частично работает, это открывает путь для локальных моделей с действительно длинным контекстом на обычном железе. Пока это v9 архитектуры, патент pending, solo-разработчик — классическая ситуация «может взлететь, может оказаться переоценкой». Нужны независимые тесты от сообщества, особенно на задачах, где длинный контекст критичен. Следим за GitHub и за тем, повторят ли результаты другие.
Комментарии