В «чудо-путешествие» отправиться не хотите ли?

WonderJourney — технология генерирует последовательно связанные между собой 3D-сцены. Проще говоря, закинул картинку, а камера начинает двигаться и строить мир вокруг. Или можно текстом прописать последовательность сцен (закинув стих и текст песни), а нейросеть всё свизуализирует

Я вот рассматриваю эту технологию как будущий элемент в свой рабочий пайплайн, когда мне нужно показать движение камеры и чтобы окружение не распалось. Или построить визуальное повествование в таком формате — так как это само по себе визуально интересно выглядит (это какой-то новый уровень Deforum'а)

А вообще это же офигено можно встроить в игровой процесс, то есть генерируются персональные миры в зависимости от выбора игрока или его действий и из этого строится карта глубины, по которой можно перемещаться + умные NPC (игровые персонажи) с подключенным GPT = уникальный игровой опыт для каждого игрока

Почитать можно тут — https://kovenyu.com/wonderjourney/
Демо пока нет

Добавление реалистичного движения на разных уровнях глубины в изображении

Нужно сделать так, чтобы объекты, расположенные ближе к камере, двигались быстрее, чем объекты, находящиеся на расстоянии. Чтобы определить, что ближе, что дальше поможет карта глубины изображения

С помощью Motion Brush в Runway и выбора разных кистей я настроил разным объектам различное движение: машине — свое движение на отдаление, а объектам, которые должны просто двигаться в зависимости от их расположения, — различное движение

В комментариях скрины с настройками

В Дубае подходит к концу движуха по эйай фильммейкингу AIFF, которая вся прошла мимо меня. Это был полугодовой фестиваль с разными выступлениями, сессиями, в том числе и конкурс фильмов созданных с помощью ИИ

Я собрал 10 работ финалистов, сделал дубляж на русский с помощью Elevenlabs (оригиналы на английском будут в комментариях). Когда создавались эти работы, многих возможностей у инструментов с ИИ еще не было — не было высококачественного midjourney v6 и супер апскейлера и детализатора magnific, не было гибкого управления моушеном в Runway, не было улучшенной Pika

Если посмотреть все 10 работ, можно понять в целом, какой уровень повествования сейчас создается с помощью ИИ, какие жанры выбирают создататели, чему отдают предпочтение жюри и тд. Мое мнение не меняется — очень важна идея, форма вторична

В составе жюри креативные и арт деректора разных междунарожных компаний из разных сфер

Сейчас идет голосование за приз зрительских симпатий, до 9 февраля можно голосовать — https://aifilmfest.ae/#vote

А вот ближайшие важные конкурсы в эйай фильммейкинге, оба от Runway, оба с хорошими призовыми:
https://gen48.runwayml.com (будет проходить 3-5 февраля, условия озвучат 3 февраля)
https://aiff.runwayml.com (уже можно сдавать работы, до конца сдачи - 37 дней)