Консистентность или последовательность персонажей и локаций остается задачей, которая решается в Midjourney все еще «костылями»

Есть инсайдерская инфа, что они уже эту задачу себе записали в свою дорожную карту запуска разных фишек -— пользователь просят

Я слежу за рынком и отдельными сервисами (рассказывал тут об одном, расскажу позже и о других), которые пытаются решать это

И среди них есть в целом рабочие инструменты, но в то в время, как они эту самую консистентность решают, у них проседают другие важные элементы в креативном процессе — например качество или ограниченное понимание деталей (это тоже решаемо, другим, дополнительным инструментом)

Рынку не хватает единого инструмента, где можно строить весь воркфлоу в одном месте — от написания сценария, раскадровки, режиссирования кадров до липсинка, монтажа и саунддизайна

Рынок создания историй с помощью искусственного интеллекта быстро развивается, и я верю, в то, что скоро такой новый креативный инструмент появится или я его сам создам

Рассказать как в Midjourney мы сейчас решаем вопрос консистентности/последовательности?

Я выбрал качество и принял решение не сдавать наш мультфильм на конкурс GEN48, а команда поддержала

У меня сейчас запланированная поездка в горы. Я надеялся, что мобильный интернет будет хоть как-то работать, но оказалось, что поймать его в пути практически было невозможно, и я оказался без связи

Да, инициативу перехватила Дания из команды по проекту, и когда я оказался в доступе, у нас оставалось 7 часов

Никита скинул саундтрек к нашему мультфильму. Ксения проделала огромную и оперативную работу по режиссёрскому сценарию. У нас крутая идея, которую мы мгновенно утвердили, и жертвовать качеством ради укладывания в срок — я решил, что это не стоит того

Понял, что если мы не сдадим работу, а просто её профессионально, в спокойном темпе доделаем, так будет лучше для проекта

И поэтому у нас есть 23 дня и 10 часов до конца сдачи нашего мультфильма на другой фестиваль — AI Film Festival. Это уже более серьезный фестиваль, и подход нужен соответствующий

Буду описывать процесс. Ставь 👍чтобы поддержать нас

Начало серии постов про процесс создания кино с помощью ИИ

Детали решают

Для того чтобы наш мультфильм получился максимально последовательным, важно учитывать все детали: прическа, одежда, окружение

В Midjourney, да и в целом в любой другой нейронке, где есть инпентинг и возможность указывать в качестве референса изображение, это делается примерно так:
Сначала нужны эталонные изображения, чтобы дальше можно было на них ссылаться во время генерации и работы над деталями. Эталоном может быть все, что есть в проекте: персонажи, предметы, интерьер, в целом локация

Пытаться сразу получить нужный кадр со всеми деталями практически невозможно. Можно пытаться перебирать и надеяться на случайность, но мне вот проще генерировать сначала сцену, чтобы композиция внутри нее была такой, какая нужна, а потом менять в сцене детали на те, которые должны быть

НЕ РЕ АЛЬ НО

Это GPT Sora, может создавать видео из текста до 60 секунд. И это не нарезка из фотостоков. Всё, как я люблю, «видео из ничего» (если технически, то из шума, так же, как и изображения и другие видео нейронки)

Так как это OpenAI и технологии ChatGPT, то с пониманием человеческого языка и правильной интерпретацией проблем не будет, то есть, если вы генерировали изображения в ChatGPT, знаете, как там всё с пониманием промптов и детализацией, вот тоже самое теперь и с видео

Sora может генерировать сложные сцены с несколькими персонажами, определенными типами движения и точными деталями объекта и фона

Я кайфу и очень жду. Думаю, два-три месяца и будет в подписке ChatGPT
А прямо сейчас Сэм Алтман, у себя в твиттере, генерирует, то что ему пишут в комментариях

А у себя в комментариях еще разные видео от этой нейронки

Вот теперь пооживляем картиночки, да?

Это GPT Sora, которая тоже умеет из image в to video

Runway, Pika, Stable Video, что с лицом?

Эфир будет, но не сегодня. Что-то настра нет)

Вот вам новая порция видео от Sora

Новый способ управления движением в видео

Это Boximator от TikTok, который предлагает больше контроля над специфическими движениями и гибкий способ указывать «что двигать» и «как двигать» в видео

То есть, можно указать точку А и точку Б и ровно по этой траектории будет происходить движение, что дает нам возможность делать специфические движения, в отличие от Runway и его Motion Brush, где мы просто указываем направление, без указания конечной точки (думаю, они это скоро тоже добавят)

Инфа на Github https://boximator.github.io/

Демо для пользователей будет через пару месяцев, а пока можно отправлять им на почту [email protected] свои изображения в формате 1:1 с описанием движения, которое хотите получить, а они в ответ пришлют видео