ainews
Детектор физики поймал «зависание» во всех 9 видео CogVideoX: независимый тест на консистентность
Разработчик инструмента Haga провёл предварительно зарегистрированный тест: детектор физических нарушений, «замороженный» до генерации видео, выявил одну и ту же ошибку во всех 9 роликах CogVideoX-5b-I2V — объект зависал в воздухе вместо падения. Это подтверждает, что модель систематически нарушает физику в сцене «падение мяча и блока», а не случайный артефакт.
Генеративное видео активно внедряется в обучение роботов, симуляции и креатив. Если модели систематически нарушают физику, это критично для безопасности и доверия. Независимые открытые детекторы (не от вендоров) — первый шаг к честной оценке.
Независимая проверка физики в AI-видео
Разработчик Mushoo Dhanif представил результаты контролируемого эксперимента с инструментом Haga — детектором физической консистентности для генеративного видео и симуляций робототехники.
Суть эксперимента
В первой серии тестов CogVideoX-5b-I2V систематически «ломала» физику: на промпте «падение мяча и блока» трекаемый объект зависал в воздухе с нулевой скоростью вместо падения. Проблема — детектор static_hover был добавлен после просмотра первых шести клипов, поэтому результат 6/6 не считается валидным.
Теперь проведён предварительно зарегистрированный тест:
- Модель: CogVideoX-5b-I2V
- Сцена: падение мяча и блока (3 ракурса × сиды 2, 3, 4)
- n = 9 клипов
- Пороги детектора и правила включения заморожены до генерации
- Трекинг: RGB → CoTracker3 → анализ только позиции объекта
Результат
Флаг static_hover сработал в 9 из 9 клипов (100%, доверительный интервал Уилсона 95%: 70,1–100%). Все ролики показали один паттерн: объект остаётся в воздухе большую часть времени, почти не движется между кадрами и не демонстрирует гравитационного ускорения. Контрольное видео реальной физики осталось «тихим» при тех же настройках.
Ограничения
Автор честно перечисляет:
- Одна модель (CogVideoX-5b-I2V)
- Одна сцена («падение мяча и блока»)
- Один задокументированный тип нарушения
- Контрольная выборка реальных видео n=1
- Не тестировались Cosmos, Genie, NIM
- Трекинг только позиции — может пропустить другие физические артефакты
Автор ищет обратную связь: какие нарушения физики трекинг позиции пропустит? Может ли детектор спутать намеренную левитацию с ошибкой динамики?
Выводы
Haga показывает, что воспроизводимая оценка физики возможна при строгом протоколе: фиксация правил до генерации, held-out выборка, статистические интервалы. CogVideoX-5b-I2V стабильно проваливает базовую гравитацию — вопрос, насколько это типично для других моделей.
Ключевые выводы
- Предварительная регистрация детектора (до генерации) — необходимое условие для валидной оценки AI-видео, post-hoc анализ не считается
- CogVideoX-5b-I2V демонстрирует 100%-ную повторяемость нарушения гравитации в сцене падения объекта
- Трекинг только позиции объекта — доступный, но узкий метод: пропускает нарушения импульса, трения, деформации
- Публичные модели генеративного видео пока не решили базовую задачу физической консистентности
- Открытые детекторы физики (Haga) могут стать стандартом оценки, если методология будет строгой
Автор: Никита Громов · Источник: reddit.com
**Редакция:** Этот пост — учебник, как *надо* тестировать генеративные модели. Автор не просто показал баг, а провёл контролируемый эксперемент с held-out выборкой и доверительными интервалами. CogVideoX систематически «забывает» про гравитацию — это не случайный глюк, а воспроизводимый провал.
Но есть нюансы. Тест покрывает один сценарий (падение мяча), одну модель, один тип нарушения. Трекинг позиции не поймает, если объект падает с правильной скоростью, но вращается неестественно, или если масса-инерция нарушены. Автор это признаёт и зовёт сообщество помочь расширить детекторы. Круто, что код и методология открыты — можно проверить и на других моделях. Если это станет стандартом оценки (как FID для изображений), индустрии придётся перестать врать про «физически правдоподобное видео».
Комментарии