ainews
Создать
Войти
Энтузиаст обучил экстремально компактную нейросеть для распознавания цифр MNIST, используя всего 10 примеров (по одному на класс) и 984 обучаемых параметра. Достигнута точность 62.46% на валидации. Обучение заняло 90 секунд на одном ядре мобильного процессора Dimensity 9300+.
Разработчик выложил ARPL — библиотеку для llama.cpp, которая на лету определяет возможности ARM-процессора (ISA-расширения, топологию ядер) и автоматически настраивает модель. Больше не нужно собирать отдельные сборки под каждый телефон — всё работает из коробки на Snapdragon 8 Elite, старых чипах, любых ARM-устройствах.
Разработчик смог запустить полноценную 27-миллиардную языковую модель Bonsai на одноплатном компьютере Jetson Orin NX 16GB, используя экстремальное 1-битное сжатие. Модель работает полностью офлайн, потребляет около 25 Вт и выдаёт ~7 токенов в секунду — медленно, но для одного пользователя вполне пригодно.
Команда Lucebox запустила 284-миллиардный DeepSeek V4 Flash на единственном AMD Ryzen AI MAX+ 395 с 128 ГБ unified memory, достигнув 32 tok/s при декодировании и ~250 tok/s при префилле — это на 68.5% быстрее предыдущего лидера. Ключ к успеху — ROCmFPX (семейство 2–4-битных форматов квантизации под ROCm/HIP) и DSpark draft-модель для спекулятивного декодинга. Код открыт, результат подан на LocalMaxxing.
