#inference

И инструменты ·18 июл 2026

Как запустить три сессии Qwen3.5 122B на одном Mac Studio (96GB) — без безумия и параллелизма

Энтузиаст добился конкурентной работы трёх сессий огромной языковой модели Qwen3.5 (122B параметров) на Mac Studio с 96GB RAM, кэшируя 93.8% промптов на диск. Вместо классического параллелизма он использует холодный кэш и умную стратегию вытеснения, сократив prefill-вычисления в 16 раз.

0 57

И инструменты ·15 июл 2026

Модель на PyTorch в 170 раз медленнее на T4 vs A100 — норма или баг?

Разработчик столкнулся с экстремальным падением производительности: модель трекинга точек на A100 обрабатывает видео за 0.5 секунды, на T4 — за 85 секунд (в 170 раз медленнее). GPU загружен на 99%, модель точно на GPU, обе карты проверены на разных машинах. Архитектура использует 4D корреляционные объёмы и трансформеры на чистом FP32.

0 88