Kimi K3 (0.5 петабайта) запустили на одном CPU с 8 ГБ оперативки — голый C99, без GPU

Разработчикам. Показывает, как работать с гигантскими моделями без GPU: стриминг весов с диска, упакованная 4-битная арифметика без распаковки, управление памятью вручную. Чистая C-реализация — отличная база для понимания архитектуры MoE и оптимизаций инференса. Есть референсные тесты против PyTorch.

Бизнесу. Доказывает, что inference огромных моделей возможен на CPU — потенциал для edge-деплоя или приватных инсталляций без дорогих GPU-кластеров. Пока медленно для продакшена, но направление для оптимизации затрат в специфичных сценариях (например, offline-обработка, когда латентность не критична).

Инвесторам. Демонстрация того, что зависимость от GPU-инфраструктуры не абсолютна — возможны альтернативные пути инференса. Открывает вопросы про эффективность CPU-based решений и софтверные оптимизации как конкурента hardware scaling. Следите за проектами, которые двигают эффективность инференса без увеличения железа.

• CPU-инференс для приватных деплоев: компании с требованиями к безопасности данных могут гонять большие модели on-premise без GPU
• Offline AI-обработка: пакетная генерация (контент, аналитика) где скорость не критична, но важна экономика
• Образовательные платформы: дешёвые стенды для обучения работе с большими моделями без аренды облачных GPU
• Оптимизация inference-движков: конкурентное преимущество для стартапов, которые сделают подобное быстрее и удобнее (специализированные компиляторы, JIT для MoE)
• Edge AI для enterprise: модели в локальных дата-центрах, где есть NVMe и CPU, но нет GPU-кластеров

• 33 сек/токен — это не продакшен: даже для batch-обработки слишком медленно, чтобы конкурировать с GPU-инференсом
• 1.7 ТБ на диске + требование к NVMe — барьер для массового использования, не каждый девелопер готов выделить такие ресурсы
• Доказательство концепта, но не готовый продукт: автор честно говорит, что это для обучения, а не для серьёзного применения
• CPU-инференс вряд ли догонит GPU по скорости для таких моделей — возможно, ниша останется маргинальной

Это классический hackers-проект: «потому что могу». Парень не обещает революцию в продакшене — он хотел разобраться в архитектуре Kimi K3 и доказать, что CPU-инференс возможен. И доказал. 33 секунды на токен — это, конечно, не для чатботов, но для offline-задач или обучения вполне рабочий вариант.

Основная ценность — в демонстрации подхода: как обойти ограничения памяти через стриминг весов с NVMe, как упаковать 4-битную квантизацию без распаковки, как минимизировать зависимости. Код чистый, тесты есть, можно изучать. Для коммерческих продуктов это пока экзотика, но для энтузиастов и тех, кто хочет понять MoE изнутри — золото. Плюс напоминание, что GPU-гонка — не единственный путь, если задача позволяет подождать.