Разработчики ML-моделей часто меняют гиперпараметры прямо в коде, что превращает эксперименты в хаос. Туториал показывает, как вынести все настройки — архитектуру сети, оптимизаторы, планировщики, батчи — в декларативные конфиги через библиотеку Gin Config, сохраняя код тренировки неизменным. Пример: классификация нелинейных спиралей с гибким MLP.
Разработчик столкнулся с экстремальным падением производительности: модель трекинга точек на A100 обрабатывает видео за 0.5 секунды, на T4 — за 85 секунд (в 170 раз медленнее). GPU загружен на 99%, модель точно на GPU, обе карты проверены на разных машинах. Архитектура использует 4D корреляционные объёмы и трансформеры на чистом FP32.
Себастьян Рашка опубликовал детальный технический разбор архитектуры Qwen3 — одной из самых популярных открытых языковых моделей. Материал включает реализацию с нуля на PyTorch всех ключевых компонентов: от плотных версий до Mixture-of-Experts архитектур. Qwen3 выделяется коммерческой лицензией Apache 2.0, производительностью на уровне Claude Opus 4 и широкой линейкой моделей от 0.6B до 480B параметров.
