Нашел способ как 360 градусную картинку превратить в видео с движимыми объектами внутри!

Сделать видео?

The A.I. — про то как ИИ всех заменил. Новая анимационная работа от Lazy Square

Что могу сказать — актуально. Отсылки порадовали. Развязка — не могу сказать, что неожиданная, но забавная

Кстати, гляньте у него еще другие работы, очень круто делает

Что сейчас не хватает в создании ИИ видео?

Самое важно — это консистентность сцен и персонажей, чтобы все выглядело последовательно. Еще нужен более качественный липсинк (диалоги).
Плюс, нужно ускорение процесса первоначальной раскадровки, чтобы видеть всю «картину сразу». Это сейчас все решаемо, но идем сложным путем

Я слежу за разными стартапами, которые хотят закрывать эти задачи и делать процессы удобными, вот один из них — это Katalist. У них пока нет рабочей версии продукта. Обычно мне как инфлюенсеру быстро дают бета доступы к разным инструментам, когда я пишу на прямую, а сейчас молчат

Записаться в ранний доступ
https://www.katalist.ai/

+1 находка применения

Как же круто находить новые кейсы применения креативных технологий
Кажется, блин, это так очевидно: сначала думаю — почему я не додумался до этого, а потом думаю, что еще можно переосмыслить, что еще можно интерпретировать с помощью ИИ и новых инструментов

Это имитация интерфейса из игры — экран выбора файтинга, сделанный на 100% видео и аудио, сгенерированными с помощью искусственного интеллекта

Представьте, что для этой задачи раньше нужно было, примерно, заплатить специалисту (или нескольким) условные 1000$, а с помощью ИИ это можно сделать за 500 долларов. Или лучше, когда стоимость остается той же — 1000$, но тогда специалист может взять за то же время два таких проекта. То есть, по трудозатратам и времени, получится то же самое, а денег в 2 раза больше

Внимание вопрос — что еще можно переосмыслить с помощью ИИ?

Подсмотри, как мы тут кино с помощью ИИ создаем

Мы уже созвонились с командой и наметили план действий. Сначала сами поштурмили идеи и пришли к выводу, что пойдем по пути, который у меня был в прошлый раз

С помощь специального промпта в ChatGPT перемножу все обязательные элементы и получу множество синопсисов (это краткое изложение содержания произведения, сам промпт напишу позже

Примерный план на эти 48 часов будет такой:

— Синопсис. Концепция. Идея.
— Сценарий. Сюжет.
— Предпродакшен (мудборд, раскадровка сцен)
— Продакшен (генерация ключевых кадров, генерация озвучки диалогов)
— Постпродакшен (монтаж, эффекты, саунддизайн)

На всех этапах конечно же будет инструментариум с искусственным интеллектом

Ставь 🌭 для поддержки

Мы на этапе поиска стиля и раскадровки. В прошлый раз я участвовал в конкурсе один и еле успел сдать свою работу за 48 часов, почти не спал

В этот раз я подготовился и собрал команду из трёх человек: это Дания (моя боевая подруга по эйай продакшену), будет помогать мне генерировать ключевые кадры, и Ксения, которая закрывает сценарную и концептуальную часть, а также режиссирует постановку кадров

По правилам конкурса нужно взять по одному элементу из трёх категорий и сделать так, чтобы в истории эти элементы каким-либо образом осмысленно присутствовали и были частью сюжета

Сначала мы с Данией поштурмили идеи. Я в ChatGPT написал промпт, чтобы он мне помог перемножить эти элементы, и сгенерировал множество коротких синопсисов. Ничего конкретного нас не зацепило. Нужно уделить больше времени промнут и перебору вариантов

А потом к нам подключилась Ксения, и, изучив условия конкурса, очень быстро накидала идею сценария, и это очень круто!
Созвонившись, мы быстро утвердили её и перешли на этап раскадровки.
К слову, Ксения — сценарист и режиссёр, и по данным Кинопоиска участвовала в таких проектах, как «Повелитель ветра», «Теория больших денег» и ещё не вышедшем фильме «100 лет тому вперёд»

Вот что значит профессионализм! В прошлый раз я на генерацию идеи сценария потратил 2/3 времени от конкурса

Примерно с таким лицом я сейчас генерирую общие кадры
У нас сейчас процесс генерации даты по главным героям, локациям и отдельным деталям, чтобы на них ссылаться, как референс дальше — это даст консистентности персонажам и локациям, чтобы все было последовательно

В рабочем процессе используем новый параметр референса стиля в Midjourney --sref и параметр усиления стиля --sw 500

А еще Ксения подтянула Никиту, который смотря на наши генерации и в целом на идею, попробует успеть создать саундтрек

И как вы уже поняли, мы решили делать мультфильм

Ключевые кадры очень важный элемент в будущей экранизации

Сейчас, я генерирую общие композиции кадров, чтобы потом детально их откорректировать. А именно персонажи, локации и тд

Дания, сейчас генерирует сетку с разными ракурсами и эмоциями персонажей, чтобы это можно было использовать в качестве референсов при детальной корректировке


Начало этой серии постов про процесс создания кИИно

Осталось 30 часов. Оцениваю готовность проекта на 15%
Ксения закончила режиссёрский сценарий, у нее получилось 125 кадров — это как минимум
Никита, на основе раскадровки от Ксении попробует подготовить саундтрек.
Мы с Данией продолжаем генерировать ключевые кадры, которые пойдут на этап моушена

Я сейчас в поезде еду с друзьями в горы. Местный ржд вайфай отстой. Пытаюсь ловить мобильный интернет и раздавать его на мак

Переживаю

Читаю книгу пока нет интернета

Решили сократить количество кадров. Завтра у меня будет 7 часов нормального интернета. 7 часов до сдачи работ

Консистентность или последовательность персонажей и локаций остается задачей, которая решается в Midjourney все еще «костылями»

Есть инсайдерская инфа, что они уже эту задачу себе записали в свою дорожную карту запуска разных фишек -— пользователь просят

Я слежу за рынком и отдельными сервисами (рассказывал тут об одном, расскажу позже и о других), которые пытаются решать это

И среди них есть в целом рабочие инструменты, но в то в время, как они эту самую консистентность решают, у них проседают другие важные элементы в креативном процессе — например качество или ограниченное понимание деталей (это тоже решаемо, другим, дополнительным инструментом)

Рынку не хватает единого инструмента, где можно строить весь воркфлоу в одном месте — от написания сценария, раскадровки, режиссирования кадров до липсинка, монтажа и саунддизайна

Рынок создания историй с помощью искусственного интеллекта быстро развивается, и я верю, в то, что скоро такой новый креативный инструмент появится или я его сам создам

Рассказать как в Midjourney мы сейчас решаем вопрос консистентности/последовательности?

Я выбрал качество и принял решение не сдавать наш мультфильм на конкурс GEN48, а команда поддержала

У меня сейчас запланированная поездка в горы. Я надеялся, что мобильный интернет будет хоть как-то работать, но оказалось, что поймать его в пути практически было невозможно, и я оказался без связи

Да, инициативу перехватила Дания из команды по проекту, и когда я оказался в доступе, у нас оставалось 7 часов

Никита скинул саундтрек к нашему мультфильму. Ксения проделала огромную и оперативную работу по режиссёрскому сценарию. У нас крутая идея, которую мы мгновенно утвердили, и жертвовать качеством ради укладывания в срок — я решил, что это не стоит того

Понял, что если мы не сдадим работу, а просто её профессионально, в спокойном темпе доделаем, так будет лучше для проекта

И поэтому у нас есть 23 дня и 10 часов до конца сдачи нашего мультфильма на другой фестиваль — AI Film Festival. Это уже более серьезный фестиваль, и подход нужен соответствующий

Буду описывать процесс. Ставь 👍чтобы поддержать нас

Начало серии постов про процесс создания кино с помощью ИИ

Детали решают

Для того чтобы наш мультфильм получился максимально последовательным, важно учитывать все детали: прическа, одежда, окружение

В Midjourney, да и в целом в любой другой нейронке, где есть инпентинг и возможность указывать в качестве референса изображение, это делается примерно так:
Сначала нужны эталонные изображения, чтобы дальше можно было на них ссылаться во время генерации и работы над деталями. Эталоном может быть все, что есть в проекте: персонажи, предметы, интерьер, в целом локация

Пытаться сразу получить нужный кадр со всеми деталями практически невозможно. Можно пытаться перебирать и надеяться на случайность, но мне вот проще генерировать сначала сцену, чтобы композиция внутри нее была такой, какая нужна, а потом менять в сцене детали на те, которые должны быть