ainews
Создать
Войти
Энтузиаст показал, как запускать LLM на 30+ миллиардов параметров на мини-ПК с интегрированной графикой AMD Radeon 780M и 64 ГБ оперативки за ~900 евро. Qwen 3.6 35B выдаёт 21 токен/сек, Gemma 4 31B — 5-6 токенов/сек. Не быстро, но работает для личных задач без облака.
Энтузиаст запустил AMD Radeon Pro V620 (32 ГБ VRAM, рабочая станция, $320 б/у) на Windows 11 для ComfyUI и локальных LLM. Работает стабильно через ROCm, медленнее потребительских GPU, но тянет тяжёлые модели (Flux 30B, LTX-2 22B) благодаря большому объёму памяти. Подходит для фоновой генерации и экспериментов с весом — альтернатива дорогим RTX 4090/A6000.
Энтузиаст из Reddit обучил 32-миллиардную LoRA для FLUX.2 на потребительской видеокарте AMD с 24 ГБ памяти под нативным ROCm на Windows — на грани возможного. Пришлось преодолеть 14 багов: от крашей при загрузке 64 ГБ весов до мистических замедлений в 10 раз, которые лечились запуском второго процесса с GEMM-вычислениями. В итоге — 9–10 секунд на итерацию при разрешении 448×448.
Энтузиаст протестировал новые модели Gemma 4 и Qwen 3.6 MoE на мини-ПК с APU AMD 6800H (встроенная графика Radeon 680M). Главный вывод: Mixture of Experts (MoE) модели дают скорость маленькой модели при интеллекте большой — Qwen 3.6 35B в 6,5 раз быстрее обычной 31B модели. Квантизация Q4 оптимальна для APU, Q8 убивает производительность, а новые форматы FP4 пока работают хуже обычных.
Команда Lucebox запустила 284-миллиардный DeepSeek V4 Flash на единственном AMD Ryzen AI MAX+ 395 с 128 ГБ unified memory, достигнув 32 tok/s при декодировании и ~250 tok/s при префилле — это на 68.5% быстрее предыдущего лидера. Ключ к успеху — ROCmFPX (семейство 2–4-битных форматов квантизации под ROCm/HIP) и DSpark draft-модель для спекулятивного декодинга. Код открыт, результат подан на LocalMaxxing.
Энтузиаст выпустил патч для запуска 3D-модели TRELLIS.2 в INT8-квантизации напрямую на видеокартах AMD (ROCm) через ComfyUI. Используя оптимизированные Triton-ядра вместо GGUF-весов, он добился ускорения в 2.7–3× на холодном старте и 1.27× общего прироста по времени генерации на RX 7900 XTX. Доступен готовый workflow для создания 3D-моделей разрешением до 1024.
AMD инвестирует до $5 млрд в Anthropic по мере развёртывания AI-инфраструктуры на два гигаватта мощности с использованием ускорителей Instinct MI450. Первый гигаватт запустят в первой половине 2027 года. Это третья подобная сделка AMD после контрактов с OpenAI (6 ГВт) и Meta (6 ГВт), где инвестиции или варранты привязаны к объёмам поставок железа.
