PrismML сжали языковую модель Qwen3.6-27B с ~54 ГБ до 3,9 ГБ с помощью 1-битной квантизации, сохранив ~90% производительности на бенчмарках. Модель Bonsai работает на iPhone 15 Pro Max через приложение Atomic Chat, используя всего 5,2-6,8 ГБ оперативной памяти даже при больших контекстах.
Инженеры из Northwestern University создали дрон Phantom Twist, который вращается со скоростью 15-25 Гц и становится почти невидимым из-за особенностей человеческого зрения. Конструкция оптимизирована алгоритмом так, чтобы компоненты не перекрывались при вращении, создавая прозрачное размытие вместо четкого силуэта.
Энтузиаст запустил 98-гигабайтную модель DeepSeek V4 Flash на скромной связке RTX 4060 Ti (16GB) + процессор AMD Ryzen 5 9600X. За неделю благодаря обновлениям llama.cpp скорость генерации подскочила с 2 до 7 токенов в секунду — CPU-генерация больших моделей становится реально пригодной для использования.
Статья разбирает типичные ошибки при пакетной обработке запросов к LLM: неограниченная конкурентность вызывает лавину 429-ошибок, неправильные таймауты заставляют платить за несколько генераций одного ответа, слепые retry оплачивают невалидные запросы, а temperature=0 не гарантирует воспроизводимости из-за особенностей батчинга. Решение: семафоры по TPM, batch-режимы для фоновых задач, умные retry с фильтрацией ошибок и мониторинг usage.
Пользователь Reddit смог запустить 75-миллиардную модель NVIDIA Nemotron-Labs-3-Puzzle на двух видеокартах RTX 3090 с полным контекстным окном 262K токенов. Ключ успеха — W4A16-квантизация (4-битные эксперты, 16-битная активация), правильная настройка аллокатора памяти CUDA и использование PIECEWISE-графов. Достигнута скорость ~94 токена/сек для одного запроса и 255 токенов/сек суммарно для четырёх параллельных.
