#локальное обучение

И инструменты ·23 июл 2026

FLUX.2 32B на AMD 7900 XTX: как обучить гигантскую модель на 24 ГБ под Windows

Энтузиаст из Reddit обучил 32-миллиардную LoRA для FLUX.2 на потребительской видеокарте AMD с 24 ГБ памяти под нативным ROCm на Windows — на грани возможного. Пришлось преодолеть 14 багов: от крашей при загрузке 64 ГБ весов до мистических замедлений в 10 раз, которые лечились запуском второго процесса с GEMM-вычислениями. В итоге — 9–10 секунд на итерацию при разрешении 448×448.

0 131

И исследования ·23 июл 2026

Дистилляция 8B-модели в 0.6B на MacBook: точность 100%, но few-shot промптинг всё сломал

Исследователь дистиллировал специализированную 8B-модель в 0.6B для обработки финансовых документов на обычном Mac. Маленькая модель достигла 100% точности классификации против 36% у базовой, но few-shot промптинг парадоксально ухудшил результаты: модель начала путать примеры из промпта с целевым документом. Обучение заняло 12 минут и потребовало всего 4.1 ГБ RAM.

0 92