ИИ в 3D

Инструмент Meshcapade из текста создает болванку тела с любыми движениями. Инструмент из загруженного реального видео с человеком фиксирует его движения создавая мокап. А если к этому сверху добавить рендер video-to-video от gen3, то какие творческие штуки можно делать, кто мне скажет?

Пока это самая недооцененная связка и мало кто понимает, как это внедрять в свои проекты, возможно, когда можно будет video-to-video делать из референса изображения, чтобы сохранялся нужный стиль — к этому будет больше внимания

Учитывая, что у Runway скоро появится act two, где можно будет не только голову анимировать но и задействовать туловище — к этому будет еще больше внимания

Потестил обучение Lora в KREA на примере стиля мультфильма про обезьяну Бу ютуб-канала амоБлог

Обучал именно стилю рисовки и сгенерировал пачку изображений по моему любимому промпту для исследований — «a film that no one has ever done before»

В моем датасете было много скринов с самой обезьяной, поэтому при генерациях нейросеть пыталась добавить её тоже, но поскольку я обучал именно на стиле, а не на персонаже, Бу не получился похожим сам на себя. В следующий раз попробую обучить модель именно на обезьяне Бу

Я понял, что чем разнообразнее будет датасет, тем больше разнообразия в результатах генерации. Хотя промпт у меня абстрактный, в композиции кадра заметна схожесть с датасетом и многодетальность, кроме самого стиля, конечно. При генерации я ставил силу стиля на 90% (примерно на глаз), чтобы немного подмешивались стили из оригинального датасета. Очень не хватает функции инпейнта, чтобы исправлять мелкие косяки в удачных генерациях прямо в одном интерфейсе, как в Midjourney. Ну и я предполагаю из за «киношного промпта», большинство генераций у меня получились темными

Lora обучается на модели Flux. Нужно минимум 3 изображения, я загрузил 25 шт. Обучение проходит быстро, за минут 7. Нужна подписка за $10

При генерации можно миксовать модели, например, стиль + персонаж или объект

Короче, штука не новая, и в Midjourney можно легко такое генерить, указывая ссылки на стиль, персонажа и композицию.

Вот сайт https://www.krea.ai/train , код для входа EARLYBIRD

На каждую «лучшую технологию» найдется еще лучше

У Runway's Act-One и у Live Portrаit есть несколько проблем, они не могут передавать быстрые движения головы и резкие повороты, незначительные изменения выражения лица и более сильные эмоции

А китайская модель X-Portrait 2 может! Китайцы первые во всем мире всего, что касается видео технологий. Потому что с генерацией текста и изображений они опоздали, а вот с генерацией видео решили уже не тупить. Они буквально ждут, пока какой нибудь Runway выпустит новую функцию, а затем делают ее лучше, намного лучше на «следующий день»

И так, у X-Portrait 2 получается более выразительная эмоция, плавная анимация с выражением лица, синхронизация губ реального фото и анимационного персонажа. Никаких проблем с быстрым разговором и боковым профилем

Очень интересно! Пока есть только рабочий док по технологии, но есть первая версия X-Portrait, которую уже можно попробовать