Google раскрыл математическую природу «креативности» диффузионных моделей
Исследователи Google показали, что способность диффузионных моделей генерировать новые изображения (а не просто копировать обучающие данные) — это не магия, а математическое следствие того, как нейросети при обучении «сглаживают» функцию оценки. Из-за регуляризации модель учится интерполировать между точками данных, создавая новые правдоподобные варианты вместо механического воспроизведения.
Это первое строгое математическое объяснение, почему диффузионные модели способны генерировать новые данные вместо копирования обучающих примеров. Понимание механизма позволит осознанно контролировать баланс между меморизацией и креативностью, что критично для практических приложений — от генерации изображений до drug discovery.
Креативность диффузионных моделей — это математика, а не чудо
Исследователи Google в работе для ICLR 2025 разобрали механизм, стоящий за способностью диффузионных моделей генерировать новые данные вместо банального копирования обучающей выборки.
Как это работает
Диффузионная модель учится последовательно убирать шум из изображения. Если бы она идеально запомнила обучающие данные, то при генерации воспроизводила бы точные копии (меморизация). Но на практике модели обобщают — создают новые варианты.
Ключевой инструмент — функция оценки (score function), которая на каждом шаге подсказывает модели, куда «двигать» пиксели. Если бы эта функция была идеальной, она бы всегда приводила к копированию обучающих точек.
Откуда берётся креативность
Вся соль — в сглаживании функции оценки (score smoothing). Из-за регуляризации (например, weight decay) и особенностей градиентной оптимизации нейросеть физически не может выучить «идеальную» функцию с резкими переходами. Вместо этого она учит более плавную версию.
Исследователи показали это на простом примере с двумя точками данных (+1 и -1). Идеальная функция резко переключает направление в нуле — левые точки летят к -1, правые к +1. Сглаженная версия создаёт «зону интерполяции» посередине, где новые точки останавливаются между обучающими данными.
Практические выводы
- Чем сильнее регуляризация, тем больше креатива и меньше меморизации
- Даже неявная регуляризация от градиентного спуска приводит к сглаживанию
- Это объясняет, почему модели могут генерировать правдоподобные варианты, не виденные при обучении
Работа приближает нас к пониманию внутренней механики генеративного AI и может помочь контролировать баланс между меморизацией и креативностью в будущих моделях.
Ключевые выводы
- «Креативность» диффузионных моделей — это побочный эффект того, как нейросети учатся: они физически не могут идеально запомнить обучающие данные и вместо этого учат сглаженную аппроксимацию
- Регуляризация (weight decay) и градиентная оптимизация естественным образом приводят к сглаживанию функции оценки, что создаёт «зону интерполяции» между обучающими точками
- Баланс между меморизацией и обобщением можно контролировать через силу регуляризации: сильнее регуляризация = больше креатива
- Исследование даёт математическое объяснение того, почему модели генерируют новые правдоподобные данные, а не просто копируют обучающую выборку
- Даже без явной регуляризации неявные эффекты градиентного спуска приводят к score smoothing
Автор: Сергей Ефимов · Источник: research.google
Наконец-то кто-то нормально объяснил, откуда у диффузионных моделей берётся способность к «творчеству». Не из магии трансформеров и не из размера датасета, а из банальной математики обучения нейросетей: weight decay и градиентный спуск заставляют модель учить сглаженную версию реальности, которая естественным образом интерполирует между обучающими точками.
Особенно круто, что исследователи показали это на простейших примерах — когда у тебя всего две точки данных (+1 и -1), а модель начинает генерировать что-то посередине. Это не баг, это фича: чем сильнее регуляризация, тем больше креатива и меньше тупого копирования. Практический вывод прост: если хотите, чтобы модель меньше memorize обучающие данные и больше обобщала — крутите weight decay. Если нужна точность воспроизведения — ослабляйте. Теперь это не магия, а осознанная настройка.
Комментарии