Цветовая палитра как референс стиля

Цветовые палитры в фильмах создают общее настроение, влияют на восприятие и его эмоциональное состояние зрителя

Вот интересный прием для Midjourney, суть которого заключается в использовании цветовых палитр в качестве референса стиля

Любые палитры можно создавать в этом Cloud Artifacts (это аналог нейросети ChatGPT, в котором можно создавать любые приложения и, в отличие от ChatGPT, сразу же видеть функционирующий результат)

Ну или поищите «цветовые палитры из фильмов»

Хотите себе в портфолио кейс для S7 Airlines?

Меня позвали помочь участникам нейрохакатона с применением нейросетей в работе над рекламными видео для авиакомпании S7 Airlines

Это конкурс с реальной задачей от реального клиента. Участие бесплатное. Общий призовой фонд — 500 тыс. рублей

Задание придёт всем на почту в день старта.
А старт уже 9 августа. То есть подача заявки до 15:00 9 августа.
Сейчас нужно зарегистрироваться на сайте и ждать письма с заданием

Участвовать можно одному или с командой. Участвовать могут все, кто работает в классических инструментах и хочет попробовать применить видео нейросети, и те, кто работает только в нейросетях

Работы нужно сдать до 22 августа. Конкурс проходит онлайн, а итоговые видео участников будем смотреть на мероприятии «Slёt Аниматоров 2024 x ITSALIVE» в Москве 24 - 25 августа

«Безлимитный» Runway GEN 3 на 2 дня

С 14 по 16 сентября будет проходить конкурс создания историй GEN48, и всем участникам дадут очень много кредитов для генерации видео. Если не хотите участвовать, то можете просто зарегистрироваться и 2 дня генерировать видео для себя (правила диктуют, что участники из России не допускаются)

В этот раз очень интересно, что придумают люди. Когда я больше года назад участвовал, было несколько десятков участников, а сейчас, думаю, их будет ближе к тысяче

В первых двух конкурсах первые места всегда доставались оригинальной идее и подаче. В первом случае это была стилизация под реальную съёмку, где люди из будущего нашли старую камеру и записали, что у них происходит, а во второй раз — имитация интерфейса из древней игры, где персонаж видеоигры Элли учится жить самостоятельно, когда игрок забросил игру

48 часов на создание — это очень мало. Важно не идти сложным путём, не выдумывать закрученные сюжеты, а уделить больше времени концепции, идее и форме

Регистрация скоро закроется уже закрылась
https://runwayml.com/gen48

У них с этого всё началось

Помню ранний доступ к GEN 1. Тогда казалось безумием, что можно просто взять видео с примитивами, какими-то коробками, и стилизовать его под космический корабль или еще чего

Теперь video-to-video появилось на движке нейросети GEN3, и это просто ВАУ! Мы знаем, что Runway как будто бы изобрели GVFX (генеративные эффекты). А теперь это можно делать со своим видео: стилизовать его под любой стиль, делать цветокоррекцию, да хоть управлять погодой

Очень хорошо сохраняется структура исходного видео. Главное — найти свой параметр Structure Transformation. У меня самые лучшие результаты получались на 0,20. Например, если нужно изменить день на ночь в видео, может подойти даже значение 0,05. В общем, количество генераций и выбор лучшего варианта — решает

Это пока только первый релиз. Ещё нет возможности указывать изображение в качестве референса стиля или загружать видео в формате 9:16. Но есть хитрость, которой я пользуюсь: делаю видео в формате 9:16, оставляя чёрные полосы по бокам в формате 16:9

А вообще, этот инструмент идеально работает в связке — создание мокапа с движениями и «рендеринг стиля» в GEN3

Стилизация 10 секунд видео стоит около 2$, поэтому без безлимитного тарифа в Runway делать не-че-го

Промпт на видео очень прост:
[color] Porsche standing in a [variable] warehouse

Что по образам?.

Думаю, тот, кто говорит, что ему не нравится результат, просто не понял, как этим пользоваться

Очень хочется добавления референса эстетики из изображения. А пока его нет, можно закинуть в чатгпт изображение с нужной эстетикой, попросить детально описать его и уже использовать это в качестве промпта в GEN3

Kling + ChatGPT Advanced Voice — это пока лучшая связка для создания эмоциональных сцен

Kling в своей новой версии очень реалистично имитирует эмоции на лице, а недавно появившийся липсинк у них также хорош. У всех известных мне способов липсинка есть проблемы с кадрами в темноте (не считая Live Portrait — у него другой принцип работы)

Контроль эмоций Kling, теперь с синхронизацией губ, в сочетании с новым ChatGPT Advanced Voice — самым реалистичным голосом, созданным ИИ, дает возможность создавать реалистичные сцены в ИИ-фильмах и не только. Голос можно изменить на любой тон, акцент, язык, эмоцию

Advanced Voice в ChatGPT должен появиться у всех платных пользователей в официальном приложении в течение недели (у меня пока не обновился, жду, чтобы затестить с русским голосом)

Процесс такой: сначала в ChatGPT в Voice режиме нужно попросить произнести нужные строчки с нужной эмоцией и записать всё это (запись экрана?). Затем в Kling это аудио использовать в липсинке, предварительно сгенерировав видео с нужной эмоцией на лице

Storytelling. Storytelling. Storytelling.

Генеративный ИИ будет становиться только лучше. Сейчас даже простой промпт может выдавать очень реалистичные кадры. Качество будет только улучшаться, а творческого контроля — становиться все больше.
Но без истории все это — генеративный мусор, которого с каждым днем становится все больше в интернете

Проекты, которые будут выделяться среди этого всего, — это проекты с сильной историей

Давайте учиться рассказывать истории с помощью новых креативных технологий. Предзапись на наш образовательный проект — @whatisitaivideo_bot

Протестировал эффект перевода фокуса с одного объекта на другой в Kling и Minimax

Эффект называется Rack Focus, так и пишем в промпте, описывая движение камеры

Эти две модели стали очень близки по качеству text-to-video друг к другу. Даже не знаю, кто лучше справляется с этой задачей. В процессе у Kling перевод фокуса не всегда удавался с первого раза, в то время как у Minimax это получалось почти всегда с первой попытки. Minimax генерирует 6-секундные шоты, а у Kling перевод фокуса удавался только в режиме 10-секундной генерации и очень редко — в 5-секундном режиме

Первый мужик за рулем, кстати похож на Хенка из «Во все тяжкие»

Есть какие-то специфические движения камеры у вас, которые хотелось бы попробовать погенерить?

Окей, video-to-video в GEN 3 работает хорошо, а что если просто снять набросок рисунка на листе бумаги?

Офигеть, как он из плоского рисунка превратился в объемное изображение! Тему video-to-video еще предстоит исследовать, потому что возможных сценариев использования этой технологии столько, что можно «провалиться в кроличью нору»

Сейчас не хватает мощностей, чтобы делать такой рендер в реальном времени. Это бы очень упростило и удешевило производство в гейм-индустрии. То есть не нужно было бы отрисовывать графику и текстуры

Так же, например, и для видео: один из подходов заключается в том, чтобы создать базовую 3D-сцену с анимацией, а затем наложить GEN 3 video-to-video. Такой контроль был бы невозможен только с помощью текстовых подсказок или image-to-video. Или, сняв реальное видео, с помощью технологии AR добавить в него любые объекты, а затем наложить GEN 3 video-to-video. Будущее творчества выглядит очень интересным

Эти и другие техники мы будем показывать на нашем образовательном проекте А::Й / Видео — @whatisitaivideo_bot

Фильмы с эффектом погружения и как это повлияет на будущие модели видеогенерации

Apple опубликовала трейлер короткометражного фильма Submerged о группе моряков, которые пытаются выжить на подводной лодке после смертоносной торпедной атаки. Фильм снят для очков Vision Pro. Зрители будут смотреть его с ощущением, что они являются частью происходящего. То есть можно будет крутить головой и видеть сцены в объеме, буквально находиться в фильме и быть частью происходящего

Помню, Midjourney как-то писали, что они создают что-то вроде генерации миров. То есть, речь идет не о плоских изображениях, а о всех деталях в объеме, то есть можно будет управлять камерой внутри уже сгенерировнного «изображения». И их же видеонейросеть, когда выйдет и пройдет через несколько итераций обновлений, будет генерировать видео в объеме. Смело предположу, что такое мы уже сможем генерировать в ближайший год (скриньте)

Ожидание наконец-то закончилось (или нет?). В Minimax теперь можно генерировать из изображений

Точность понимания промпта у нейросети просто аааааа! (позже выложу свою нарезку шотов). Ну и чувствительность тоже: иногда замена одного слова в промпте может улучшить или, наоборот, испортить моушен

Я вот думаю, было бы прикольно, если бы при загрузке изображения и перед генерацией видео модель сначала описывала всё, что она видит на изображении, то есть делала дескрайб. Поняв это, мы могли бы чётко «её словами» описывать происходящее в промпте — что и куда передвинуть, куда пойти, полететь и т.д. Это что-то вроде motion brush, да, наверное, это он и есть. :)

Очереди, как сами видите, но это того стоит — https://hailuoai.video/

п.с. С одной стороны, хочется бесплатно, а с другой — быстрее бы сделали платный тариф, чтобы не ждать мучительные 55 минут