ainews
Создать
Войти
Пользователь протестировал LoRA-дообучение Qwen3-1.7B с разными комбинациями физического батча и gradient accumulation на T4 и L4. Оказалось, что при одинаковом effective batch (4) время обучения различается на 17-41% в зависимости от физического размера батча. Вывод: эффективный батч влияет на сходимость оптимизатора, но физический батч определяет скорость выполнения на GPU.
MiniMax выложила веса видеомодели H3 (33 млрд параметров) — впервые открытая модель возглавила рейтинг Artificial Analysis по Video Editing. Модель генерит 4-15-секундные ролики со стереозвуком из текста, картинок, видео и аудио. Но 2K-модуль и препроцессор промптов остались закрытыми, локально работает до 768p. Коммерческое использование — только для компаний с выручкой до $20 млн.
Разработчик предлагает пайплайн для генерации данных на обучение рассуждениям: абстрактные задачи создаются учительской моделью или процедурно, переводятся в естественный язык, решаются формальными верификаторами, и только проверенные примеры попадают в датасет. Цель — избежать главной проблемы синтетики (однообразные шаблоны) и создать качественный корпус для дистилляции в малые открытые модели.
Автор TTS-модели Inflect (4 и 9 млн параметров, 16-38 МБ) выпустил тулкит для файнтюнинга на своём голосе или языке. После релиза основной вопрос был не «звучит ли это прилично», а «можно ли обучить на своих данных». За выходные собрал рабочий пайплайн с warm-start, resume и экспортом в ONNX, но пока не уверен, насколько хорошо модель такого размера перенесётся на неанглийские языки.
Разработчик создал Aozora — бесплатный GUI-тренер для файнтюнинга SDXL и Anima на потребительских GPU с 12 ГБ видеопамяти. Инструмент тренирует 80-90% полной модели SDXL в пределах 11.8 ГБ VRAM (~1.55 сек/итерация) и 100% Anima в разрешении 1152×1152 (~11.4 ГБ, 2.67 сек/итерация). Код написан с нуля, а не обёртка над существующими решениями.
