ainews
Локальная LLM играет в шутер Perfect Dark на Mac — агент ходит, целится и стреляет сам
Энтузиаст научил локальную языковую модель играть в классический шутер Perfect Dark на Mac. Система двухуровневая: быстрый слой управляет прицеливанием и движением каждые ~50 мс, LLM принимает стратегические решения медленнее. Работает через оригинальный бинарник игры, используя MLX-фреймворк Apple.
Показывает практический путь к embodied AI-агентам, которые действуют в непредсказуемых средах. Двухслойная архитектура и on-device inference на Mac — референсная реализация для исследователей и разработчиков игровых AI.
Локальный AI-агент самостоятельно проходит шутер Perfect Dark
Пользователь Reddit под ником moyoteg опубликовал видео проекта LLM Play: локальная языковая модель управляет персонажем в классическом шутере Perfect Dark через оригинальный бинарник игры.
Двухуровневая архитектура
Система разделена на два слоя: - Быстрый боевой слой обрабатывает прицеливание и перемещение каждые ~50 миллисекунд - LLM-слой принимает стратегические решения с меньшей частотой
Такая архитектура решает проблему latency: модель не успевает реагировать на каждый кадр в реальном времени, поэтому высокоуровневые команды («идти туда», «атаковать цель») выполняет быстрый контроллер.
Технический стек
- Платформа: Mac с фреймворком MLX (нативное ML-решение Apple для Apple Silicon)
- Интеграция: кастомный мост к бинарнику Perfect Dark
- Мониторинг: логирование решений с проверкой «agency» — отслеживание не только нажатий кнопок, но и реальных изменений позиции и направления взгляда персонажа
Видео демонстрирует панель управления и игру side-by-side — видно, как решения LLM превращаются в движения персонажа в мире игры.
Исследовательский проект
Автор подчёркивает: это хобби/исследовательская работа, ничего не продаётся. Проект интересен как пример embodied AI — агента, действующего в непредсказуемой среде с физикой и противниками, а не в текстовом интерфейсе.
Похожие эксперименты раньше делались с DOOM и Minecraft, но Perfect Dark добавляет сложности: 3D-шутер с вертикальным аймом, укрытиями и тактическим ИИ врагов.
Ключевые выводы
- Двухслойная архитектура (быстрая реактивная + медленная LLM) решает проблему latency для управления в реальном времени
- MLX позволяет запускать агентов на Mac локально без облачных API
- Мониторинг «agency» через изменение позиции эффективнее отслеживания только input-событий
- Embodied AI в играх — растущее направление для тестирования агентных способностей LLM
- Работа с оригинальным бинарником сложнее эмуляторов, но даёт полную физику и поведение игры
Автор: Никита Громов · Источник: reddit.com
**Это не просто «LLM нажимает WASD».** Тут интересна именно двухуровневая схема: модель не дёргает стики каждый кадр, а задаёт интент («иди к двери», «атакуй врага»), который быстрый слой превращает в микрокоманды. Это паттерн, который работает не только в играх — та же логика нужна для роботов, дронов, любого embodied AI, где latency убивает.
MLX здесь — приятный бонус: локальный inference на Apple Silicon без жора GPU и облачных счетов. Проект hobby-уровня, но архитектурно чистый. Если вы думаете над агентами в реальном времени — возьмите на заметку этот подход. И да, Perfect Dark — отличный бенчмарк: сложнее DOOM, но проще современных AAA, где vision-модель сожрёт весь бюджет.
Комментарии