#гиперпараметры

И инструменты ·16 июл 2026

Дефолтный learning rate в QLora — ловушка для малых датасетов

Автор три недели бился с файн-тюнингом на ~7k примерах, пока не понял: дефолтный learning rate 2e-4 из всех туториалов взят из paper'а Alpaca (52k сэмплов) и безбожно переобучает малые датасеты. Переход на 1e-4 + больше эпох мгновенно разблокировал рост eval-метрик.

0 215

И инструменты ·15 июл 2026

Туториал: как управлять экспериментами в PyTorch через конфиги, а не через код

Разработчики ML-моделей часто меняют гиперпараметры прямо в коде, что превращает эксперименты в хаос. Туториал показывает, как вынести все настройки — архитектуру сети, оптимизаторы, планировщики, батчи — в декларативные конфиги через библиотеку Gin Config, сохраняя код тренировки неизменным. Пример: классификация нелинейных спиралей с гибким MLP.

0 194