ainews
Создать
Войти
MiniMax выпустили H3 — мультимодальную модель для генерации 15-секундных видеороликов со звуком из текста, картинок, аудио и видео. Вышел порт для MLX, позволяющий запускать модель на Apple Silicon. На MacBook Pro M5 Max генерация видео заняла 45 минут, потребовалось 115 ГБ под модель. Качество видео впечатляет, но аудио без промпт-указаний получается невнятным.
Разработчик создал новый метод квантизации для MLX-моделей на Apple Silicon, который даёт лучший результат для Qwen3.5-122B: сборка на 82 ГБ обгоняет 6-битные на 94-95 ГБ, а версия на 68 ГБ позволяет держать 5-8 агентов с контекстом 100К токенов одновременно на Mac с 128 ГБ RAM. Перплексия всего на 0.3-0.7% хуже исходного GGUF, при этом MLX даёт 9x быстрее prefill и на 20% быстрее генерацию токенов на M5 Max.
Пользователь потратил кучу времени на локальный запуск DeepSeek V4 Flash и нашёл три критичных проблемы: GGUF от Unsloth падает на CPU (4-7 tok/s вместо GPU), tool calls молча ломаются из-за бага в Unsloth Studio, а после 130K токенов cache invalidation убивает производительность из-за лимита в 30GB. Решение — перейти на MLX-версию и переключиться с Unsloth на Hermes Agent.
Команда столкнулась с регулярными падениями распределённого LLM-кластера из пяти Mac Studio (96 ГБ памяти), связанных через Thunderbolt 5. Проблема оказалась многослойной: баг в mlx.launch не убивал удалённые процессы при сбое, orphan-процессы в состоянии Us+ накапливались сотнями и истощали пул RDMA protection domains, что приводило к RuntimeError при инициализации новых задач.
