🧠 Новая работа от ANSE Project: модель уже знает, какой шум лучший
Исследователи Кванён Ким и Санхён Ким предложили улучшение для видео-диффузионных моделей — метод ANSE (Active Noise Selection for Generation).
🔍 В чём идея?
В диффузионных моделях начальный шум влияет на результат. Один и тот же prompt с разными шумами может дать совершенно разные видео — по качеству, стилю и соответствию запросу.
ANSE предлагает не выбирать шум случайно, а использовать внутренние сигналы модели (внимание/attention), чтобы активно выбрать лучший шум перед генерацией.
🧪 Как это работает?
- Используется BANSA (Bayesian Active Noise Selection via Attention) — метрика на основе энтропии внимания
- Она измеряет, насколько модель "уверена" в своём внимании при разных инициализациях шума
- Для ускорения применяется аппроксимация через бернуллиевы маски и выборку подслоёв
📈 Результаты:
На моделях CogVideoX-2B и 5B метод ANSE:
• улучшает качество и согласованность видео
• требует всего на ~10% больше времени на inference
• показывает более стабильные и осмысленные результаты
📎 Подробнее: https://arxiv.org/abs/2505.17561
🌐 Проект: https://anse-project.github.io/anse-project/
Исследователи Кванён Ким и Санхён Ким предложили улучшение для видео-диффузионных моделей — метод ANSE (Active Noise Selection for Generation).
🔍 В чём идея?
В диффузионных моделях начальный шум влияет на результат. Один и тот же prompt с разными шумами может дать совершенно разные видео — по качеству, стилю и соответствию запросу.
ANSE предлагает не выбирать шум случайно, а использовать внутренние сигналы модели (внимание/attention), чтобы активно выбрать лучший шум перед генерацией.
🧪 Как это работает?
- Используется BANSA (Bayesian Active Noise Selection via Attention) — метрика на основе энтропии внимания
- Она измеряет, насколько модель "уверена" в своём внимании при разных инициализациях шума
- Для ускорения применяется аппроксимация через бернуллиевы маски и выборку подслоёв
📈 Результаты:
На моделях CogVideoX-2B и 5B метод ANSE:
• улучшает качество и согласованность видео
• требует всего на ~10% больше времени на inference
• показывает более стабильные и осмысленные результаты
📎 Подробнее: https://arxiv.org/abs/2505.17561
🌐 Проект: https://anse-project.github.io/anse-project/
❤8👍8🔥6
tgoop.com/data_analysis_ml/3598
Create:
Last Update:
Last Update:
🧠 Новая работа от ANSE Project: модель уже знает, какой шум лучший
Исследователи Кванён Ким и Санхён Ким предложили улучшение для видео-диффузионных моделей — метод ANSE (Active Noise Selection for Generation).
🔍 В чём идея?
В диффузионных моделях начальный шум влияет на результат. Один и тот же prompt с разными шумами может дать совершенно разные видео — по качеству, стилю и соответствию запросу.
ANSE предлагает не выбирать шум случайно, а использовать внутренние сигналы модели (внимание/attention), чтобы активно выбрать лучший шум перед генерацией.
🧪 Как это работает?
- Используется BANSA (Bayesian Active Noise Selection via Attention) — метрика на основе энтропии внимания
- Она измеряет, насколько модель "уверена" в своём внимании при разных инициализациях шума
- Для ускорения применяется аппроксимация через бернуллиевы маски и выборку подслоёв
📈 Результаты:
На моделях CogVideoX-2B и 5B метод ANSE:
• улучшает качество и согласованность видео
• требует всего на ~10% больше времени на inference
• показывает более стабильные и осмысленные результаты
📎 Подробнее: https://arxiv.org/abs/2505.17561
🌐 Проект: https://anse-project.github.io/anse-project/
Исследователи Кванён Ким и Санхён Ким предложили улучшение для видео-диффузионных моделей — метод ANSE (Active Noise Selection for Generation).
🔍 В чём идея?
В диффузионных моделях начальный шум влияет на результат. Один и тот же prompt с разными шумами может дать совершенно разные видео — по качеству, стилю и соответствию запросу.
ANSE предлагает не выбирать шум случайно, а использовать внутренние сигналы модели (внимание/attention), чтобы активно выбрать лучший шум перед генерацией.
🧪 Как это работает?
- Используется BANSA (Bayesian Active Noise Selection via Attention) — метрика на основе энтропии внимания
- Она измеряет, насколько модель "уверена" в своём внимании при разных инициализациях шума
- Для ускорения применяется аппроксимация через бернуллиевы маски и выборку подслоёв
📈 Результаты:
На моделях CogVideoX-2B и 5B метод ANSE:
• улучшает качество и согласованность видео
• требует всего на ~10% больше времени на inference
• показывает более стабильные и осмысленные результаты
📎 Подробнее: https://arxiv.org/abs/2505.17561
🌐 Проект: https://anse-project.github.io/anse-project/
BY Анализ данных (Data analysis)
Share with your friend now:
tgoop.com/data_analysis_ml/3598