ainews
Создать
Войти
ByteDance и Tsinghua AIR выпустили CUDA Agent — систему RL, которая учит большую языковую модель генерировать GPU-ядра быстрее стандартного компилятора. На бенчмарке из 250 задач модель обгоняет torch.compile в 96.8% случаев с ускорением 2.11× в среднем, доказав, что LLM могут оптимизировать низкоуровневый код на уровне экспертов.
Nvidia привлекла BlackRock, Goldman Sachs и других на $500 млрд под строительство AI-датацентров, гарантируя стоимость своих GPU как залога. Компания обещает покрыть до 25% падения цены на чипы, создавая вторичный рынок старого железа. Это снимает риски для инвесторов, но создаёт «обратный риск» для Nvidia — чем слабее спрос, тем больше обязательств.
Пользователь создал 20-минутный пародийный эпизод Star Trek: The Next Generation на локальной модели MiniMax H3 (INT8, одна RTX 5090). Все голоса, звуки и синхронизация губ — внутри модели, без отдельных TTS-пайплайнов типа ElevenLabs или wav2lip. Поделился рабочими приёмами: как писать промпты для многокадровых сцен, почему негативные промпты не работают и как избежать рандомных лиц.
Стартап из YC создаёт AI-агентов, которые открывают новые материалы для полупроводниковой индустрии. Проблема: GPU греются всё сильнее (H100 — 700W, Blackwell — 1.2 кW, Rubin — 2.3 kW), а существующие материалы не справляются с отводом тепла. За 3 месяца команда синтезировала термоинтерфейсы, которые по характеристикам сравнимы с секретными разработками химических гигантов последних 20 лет. Релизят сотни новых материалов и бенчмарк для моделей.
Amazon выпустил SageMaker AI Spaces — аддон для EKS, который разворачивает JupyterLab и Code Editor прямо в Kubernetes-кластере. Вместо 3-5 дней настройки отдельного JupyterHub дата-сайентист получает готовую среду за 5 минут, с доступом к GPU, общему хранилищу и IAM-ролям. Консолидация рабочих нагрузок может поднять утилизацию GPU на 30% и избавить от постоянно включенных дорогих инстансов для ноутбуков.
Nvidia договорилась с шестью финансовыми гигантами о привлечении $500+ млрд для AI-датацентров, фабрик и электростанций. Чтобы сделка работала, Nvidia гарантирует до 25% остаточной стоимости своих GPU — по сути, страхует кредиторов от обесценивания железа. Критики типа Майкла Бёрри считают быстрое устаревание чипов слабым местом всего AI-бума.
Разработчик восемь часов искал, почему ComfyUI выдаёт чёрные картинки на Quadro RTX 6000. Нашёл три независимых бага: переполнение FP16 в torch.mm() (PyTorch 2.12+), несовместимость аллокатора памяти на Turing и физический дефект VRAM. Выложил фиксы и диагностические скрипты на GitHub.
Новая модель Muse Glimmer 30B реально работает на одной RTX 3090 (24GB VRAM) с контекстом до 256k токенов, занимая ~22-23GB. Для сравнения: Qwen3.6-27B и Gemma-4-31B на том же железе дают только 70-125k токенов. Скорость 64-124 tok/s с DFlash, тест на 150k токенов прошёл без проблем.
Автор раскладывает по полочкам экономику и технологию облачного инференса LLM. Объясняет, почему выходные токены дороже входных, как батчинг снижает затраты в 4 раза, и почему сравнивать цены за токен и за GPU-час бессмысленно без учёта утилизации. Приводит конкретные цифры: кто сколько привлёк, кто как быстро растёт, и какие технические трюки применяет.
LinkedIn не будет увеличивать GPU-мощности и хранилища в 2025 финансовом году. Вместо строительства новых дата-центров компания удвоила эффективность использования существующих GPU за полгода — через оптимизацию моделей, дистилляцию и переброс задач с GPU на CPU. Экономия $24 млн, утилизация GPU >95%.
Nvidia вложила крупную сумму в Safe Superintelligence — стартап бывшего главного учёного OpenAI Ильи Суцкевера. В рамках партнёрства SSI получает доступ к GPU-платформе следующего поколения Vera Rubin, что увеличит вычислительную мощность в 10 раз. До этого лаборатория работала в основном на чипах Google TPU.
CoreWeave вместе с оборонным подрядчиком Leidos запускает специализированное AI-облако для американских спецслужб и военных — инфраструктура для тренировки и инференса моделей будет работать внутри центров обработки данных с допуском к секретным материалам. Это первый случай, когда коммерческий AI-провайдер такого масштаба официально заходит в закрытый госсектор.
Moonshot AI публикует веса модели Kimi K3 (2,8 трлн параметров, 896 экспертов MoE). Команда Qubrid разбирает требования к памяти: на A100 нужно 3 узла, на H200 — два, только B300 с нативной FP4 подходит для одного узла. Обещают тесты производительности на всех трёх конфигурациях к концу недели.
Пользователь разобрался, почему его две GeForce RTX 5060 Ti никогда не грузятся выше 50% при запуске LLM. Причина — в архитектуре послойного разделения модели: карты работают по очереди, а не параллельно. Каждый сгенерированный токен требует прочитать из памяти все 22 ГБ весов модели, и узким местом становится пропускная способность памяти, а не вычисления.
В llama.cpp добавили опцию переноса сэмплирования токенов с CPU на GPU при использовании MTP (multi-token prediction). На RTX 5090 прирост скорости достигает 8%, на старой Tesla P40 — 4%. Это самое заметное улучшение производительности локального инференса за последнее время.
Статья объясняет, почему память — главное узкое место при работе с AI-моделями, а не процессорная мощность. Автор разбирает, сколько памяти требуется для хранения параметров моделей, в чём разница между RAM и VRAM, и почему GPU не может работать с данными, не помещающимися в его видеопамять.
Все крупные движки инференса LLM теперь поддерживают разделение фаз prefill (обработка промпта) и decode (генерация токенов) на отдельные пулы GPU. Автор объясняет техническую природу этого подхода и главное — когда он действительно нужен, а когда создаёт лишние сложности.
Moonshot AI выпустила открытую модель Kimi K3 с 2,8 трлн параметров — крупнейшую в истории. Однако из-за огромного размера (1,4 ТБ весов даже в 4-битном квантовании) её практически невозможно запустить на собственном железе. Сама компания приостановила подписки из-за нехватки GPU для обслуживания спроса.
Стартап Lunar Outpost установит чипы Nvidia Jetson на свои лунные роверы для обработки данных лидара — это могут быть первые GPU на поверхности Луны. NASA платит частным компаниям за изучение Луны перед возвращением астронавтов в 2028 году, и GPU могут стать ключом к созданию автономных робосистем в экстремальных космических условиях.
