tgoop.com/def_model_train/973
Last Update:
Очень красивая демка у CoDeF: Content Deformation Fields for Temporally Consistent Video Processing
https://qiuyu96.github.io/CoDeF/
Идея из основная в том, что из видео берется изначальный кадр и к нему применятся нужный style transfer по промпту. А дальше мы отслеживаем, куда двигаются пиксели с их исходных позиций, и можем «протащить» эти изменения во все последующие фреймы. Соответственно, их сетка неплохо работает также с pixel tracking и даже с сегменатцией
За счет того, что мы не стилизуем каждый фрейм по отдельности, а как бы модифицируем один исходный кадр, видео получается гораздо более консистентное и плавное. Ограничение тут понятное – если у вас длинный видос, где куча разных сцен, стилизуете вы эти сцены также по-отдельности, и не факт, что они будут хорошо стыковаться между собой
BY я обучала одну модель
Share with your friend now:
tgoop.com/def_model_train/973
