ainews
Создать
Войти
Пользователь протестировал LoRA-дообучение Qwen3-1.7B с разными комбинациями физического батча и gradient accumulation на T4 и L4. Оказалось, что при одинаковом effective batch (4) время обучения различается на 17-41% в зависимости от физического размера батча. Вывод: эффективный батч влияет на сходимость оптимизатора, но физический батч определяет скорость выполнения на GPU.
Подробный технический туториал по обучению языковых моделей методом Direct Preference Optimization (DPO) на датасете Anthropic HH-RLHF. Показывает полный пайплайн: от аудита датасета на предвзятости до файн-тюнинга Qwen2.5-0.5B-Instruct с использованием TRL и LoRA. Включает анализ лексических паттернов, фильтрацию по длине ответов и оценку качества обученной модели.
Исследователи обнаружили, что Adam и похожие оптимизаторы теряют неявное смещение градиентного спуска к простым (низкоранговым) решениям. Причина — в покоординатной нормализации второго момента, которая ломает инвариантность к поворотам базиса. GD, Shampoo и Muon сохраняют смещение, Adam/RMSProp/Lion — нет. Эксперименты на matrix sensing показывают: проблема не в адаптивности вообще, а именно в анизотропии обновлений.
Энтузиаст из Reddit обучил 32-миллиардную LoRA для FLUX.2 на потребительской видеокарте AMD с 24 ГБ памяти под нативным ROCm на Windows — на грани возможного. Пришлось преодолеть 14 багов: от крашей при загрузке 64 ГБ весов до мистических замедлений в 10 раз, которые лечились запуском второго процесса с GEMM-вычислениями. В итоге — 9–10 секунд на итерацию при разрешении 448×448.
Энтузиаст обучил LoRA-адаптер для Krea 2 на RTX 5080 с 16GB VRAM вопреки популярным статьям, утверждающим, что нужно больше памяти. Полный тренинг 1152 шага занял 67 минут, пик VRAM — 93.8%. Бонус: разбор проблем официальных репозиториев (gated-доступ), bagов модели (bleeding в промпты без триггеров) и пошаговый рецепт с точными версиями библиотек.
Энтузиаст собрал утилиту для автоматического извлечения четких кадров из низкокачественного видео (например, фильмов 1980-х) и их восстановления через темпоральную суперразрешение с использованием SeedVR. Инструмент находит сцены, выбирает лучшие кадры и улучшает их для создания датасета под обучение LoRA персонажа.
Новая LoRA для Krea 2 переносит позы и композицию через depth map. Отлично работает на портретах и простых позах, но для сложных действий (приседания, оружие, динамика) требует детальных текстовых описаний каждой конечности и силы 1.0–1.2. Хорошо держит перспективу и ракурс, хуже — точное положение рук.
Разработчик создал инструмент для Krea2, позволяющий применять разные промпты и LoRA к отдельным областям изображения без взаимного влияния. Система работает через управление вниманием между токенами текста и изображения в заданных регионах, что решает проблему «утечки» стилей и персонажей при использовании нескольких LoRA одновременно.
Статья объясняет технологию LoRA (Low-Rank Adaptation) — метод, позволяющий адаптировать большие языковые модели под конкретные задачи без огромных затрат. Вместо изменения миллиардов параметров модели LoRA обучает лишь крошечный набор дополнительных весов, используя математику низкоранговых матриц.
Lightricks выпустили Clean Plate IC-LoRA для видеомодели LTX-2.3: адаптер удаляет всех людей и машины с видео, восстанавливая фон и сохраняя движение камеры, без ручной разметки. Работает через ComfyUI, весит 330 МБ, требует ~24 ГБ VRAM для HD.
