Kling + ChatGPT Advanced Voice — это пока лучшая связка для создания эмоциональных сцен

Kling в своей новой версии очень реалистично имитирует эмоции на лице, а недавно появившийся липсинк у них также хорош. У всех известных мне способов липсинка есть проблемы с кадрами в темноте (не считая Live Portrait — у него другой принцип работы)

Контроль эмоций Kling, теперь с синхронизацией губ, в сочетании с новым ChatGPT Advanced Voice — самым реалистичным голосом, созданным ИИ, дает возможность создавать реалистичные сцены в ИИ-фильмах и не только. Голос можно изменить на любой тон, акцент, язык, эмоцию

Advanced Voice в ChatGPT должен появиться у всех платных пользователей в официальном приложении в течение недели (у меня пока не обновился, жду, чтобы затестить с русским голосом)

Процесс такой: сначала в ChatGPT в Voice режиме нужно попросить произнести нужные строчки с нужной эмоцией и записать всё это (запись экрана?). Затем в Kling это аудио использовать в липсинке, предварительно сгенерировав видео с нужной эмоцией на лице

Storytelling. Storytelling. Storytelling.

Генеративный ИИ будет становиться только лучше. Сейчас даже простой промпт может выдавать очень реалистичные кадры. Качество будет только улучшаться, а творческого контроля — становиться все больше.
Но без истории все это — генеративный мусор, которого с каждым днем становится все больше в интернете

Проекты, которые будут выделяться среди этого всего, — это проекты с сильной историей

Давайте учиться рассказывать истории с помощью новых креативных технологий. Предзапись на наш образовательный проект — @whatisitaivideo_bot

Протестировал эффект перевода фокуса с одного объекта на другой в Kling и Minimax

Эффект называется Rack Focus, так и пишем в промпте, описывая движение камеры

Эти две модели стали очень близки по качеству text-to-video друг к другу. Даже не знаю, кто лучше справляется с этой задачей. В процессе у Kling перевод фокуса не всегда удавался с первого раза, в то время как у Minimax это получалось почти всегда с первой попытки. Minimax генерирует 6-секундные шоты, а у Kling перевод фокуса удавался только в режиме 10-секундной генерации и очень редко — в 5-секундном режиме

Первый мужик за рулем, кстати похож на Хенка из «Во все тяжкие»

Есть какие-то специфические движения камеры у вас, которые хотелось бы попробовать погенерить?

Окей, video-to-video в GEN 3 работает хорошо, а что если просто снять набросок рисунка на листе бумаги?

Офигеть, как он из плоского рисунка превратился в объемное изображение! Тему video-to-video еще предстоит исследовать, потому что возможных сценариев использования этой технологии столько, что можно «провалиться в кроличью нору»

Сейчас не хватает мощностей, чтобы делать такой рендер в реальном времени. Это бы очень упростило и удешевило производство в гейм-индустрии. То есть не нужно было бы отрисовывать графику и текстуры

Так же, например, и для видео: один из подходов заключается в том, чтобы создать базовую 3D-сцену с анимацией, а затем наложить GEN 3 video-to-video. Такой контроль был бы невозможен только с помощью текстовых подсказок или image-to-video. Или, сняв реальное видео, с помощью технологии AR добавить в него любые объекты, а затем наложить GEN 3 video-to-video. Будущее творчества выглядит очень интересным

Эти и другие техники мы будем показывать на нашем образовательном проекте А::Й / Видео — @whatisitaivideo_bot

Фильмы с эффектом погружения и как это повлияет на будущие модели видеогенерации

Apple опубликовала трейлер короткометражного фильма Submerged о группе моряков, которые пытаются выжить на подводной лодке после смертоносной торпедной атаки. Фильм снят для очков Vision Pro. Зрители будут смотреть его с ощущением, что они являются частью происходящего. То есть можно будет крутить головой и видеть сцены в объеме, буквально находиться в фильме и быть частью происходящего

Помню, Midjourney как-то писали, что они создают что-то вроде генерации миров. То есть, речь идет не о плоских изображениях, а о всех деталях в объеме, то есть можно будет управлять камерой внутри уже сгенерировнного «изображения». И их же видеонейросеть, когда выйдет и пройдет через несколько итераций обновлений, будет генерировать видео в объеме. Смело предположу, что такое мы уже сможем генерировать в ближайший год (скриньте)

Ожидание наконец-то закончилось (или нет?). В Minimax теперь можно генерировать из изображений

Точность понимания промпта у нейросети просто аааааа! (позже выложу свою нарезку шотов). Ну и чувствительность тоже: иногда замена одного слова в промпте может улучшить или, наоборот, испортить моушен

Я вот думаю, было бы прикольно, если бы при загрузке изображения и перед генерацией видео модель сначала описывала всё, что она видит на изображении, то есть делала дескрайб. Поняв это, мы могли бы чётко «её словами» описывать происходящее в промпте — что и куда передвинуть, куда пойти, полететь и т.д. Это что-то вроде motion brush, да, наверное, это он и есть. :)

Очереди, как сами видите, но это того стоит — https://hailuoai.video/

п.с. С одной стороны, хочется бесплатно, а с другой — быстрее бы сделали платный тариф, чтобы не ждать мучительные 55 минут

/Генерирую этот пост…

Вы здесь давно и знаете, как замороченно я подхожу к созданию своих постов, рассказывая о разных техниках использования инструментов искусственного интеллекта в креативной индустрии

Короче, мы запустили наш проект А::Й/Видео!
Это 5 недель погружения в создание видео с помощью искусственного интеллекта. Начиная с концепции и идеи, мы пройдем все этапы производства: препродакшн, продакшн и постпродакшн

Вот сайт с подробностями — byai.ru

Если пролистать посты чуть выше, можно найти вход в предзапись, а там будет приятный промокод

А вот ещё 3 весомых аргумента, принять участие:
1. Оплата нейросетей на время обучения, то есть по идее никаких дополнительных расходов не нужно
2. Год обновлений образовательного контента, то есть, как только появляется что-то новое, вы будете знать об этом одними из первых, и никаких других обучений вам не потребуется
3. Год обновляемой базы рабочих процессов от создателей со всего мира, то есть у вас будет актуальность по всем новым техникам и приемам

Ещё раз, вот сайт — byai.ru

Будем рады видеть тебя!

Небольшая команда кинематографистов создала полнометражный мультфильм с помощью ИИ

Это знаковое событие, потому что оно в целом доказывает концепцию того, что ИИ можно и нужно использовать для создания полноценной сюжетной истории с небольшим бюджетом и силами небольшой команды

Конечно, 100% мультфильма не было сделано с помощью ИИ. Он стал основным инструментом, но не единственным. Главная задача новых технологий — помогать рассказчикам воплощать идеи, а не становиться заменой всего и вся

Основная сила мультфильма — в истории. Сюжет настолько захватывает, что я перестал думать о том, что это создано с помощью ИИ. Это очень важно: если технология становится заметнее сюжета, то это провал

Также в сюжете минимум физического взаимодействия между персонажами, что значительно упрощает процесс анимации. Это позволило сосредоточиться на эмоциональной составляющей без технических усложнений

Фильм также использует настоящих актёров озвучки, что конечно большой плюс, ведь ИИ-голоса пока не могут передавать эмоции так же точно, как живые актёры. Ещё одна успешная техника — использование захвата движений (motion capture), что добавило движениям персонажей правдоподобности

В целом, мульфильм «Где растут Роботы» демонстрирует, как можно объединить традиционные технологии с ИИ для создания полноценного мультфильма

Смотрел с русским дубляжем в Я.браузере

Честное мнение о всех доступных генераторах видео

Runway Gen-3
Хорош для более стабильных шотов без явной динамики в кадре. Дает хорошую чёткость видео, но изменение контрастности — явный косяк (или только я один это замечаю?). Лучшая модель для видео-ту-видео стилизации загруженных видео. Они первыми начали продвигать понятие GVFX для создания эффектов в реальных снимках, и у них это получается хорошо

Kling
Единственная на данный момент модель, которая генерирует в разрешении 1080. Стабильный результат, хороший баланс между стабильностью и динамикой в кадре. Очень хорошо работает Motion Brush для управления объектами в кадре, даёт отличные результаты в большинстве генераций. Генерация очень доооолгая, особенно если это 10-секундные шоты

Minimax
Дает самую лучшую динамику в кадре из-за чего и иногда получаются результаты с морфингом (искажениями). В целом модель отлично подходит для задач, где требуются естественные движения в кадре

Luma
Хорошо работают ключевые кадры. Если использовать модель как обычный генератор, результаты получаются «мыльными» и уступают вышеупомянутым моделям

Pika
Неплохо натренировали новую модель на эффектах, но это больше фан и маркетинг. Модель хуже, чем та же Luma. Не вижу ни одной причины использовать её в рабочих процессах

Haiper
Обновились до версии 2.0: улучшилась динамика, но по-прежнему много брака с морфингом. Уровень примерно между Luma и Pika. В обновлении появилась возможность добавлять промежуточные кадры — первый, второй и третий. Также, как и в новом Premier Pro, можно продлевать загруженное видео

На текущий момент идеальная связка для действительно качественной работы — это точечное использование функционала Kling (Motion Brush, кейфреймы, просто моушен кадров) и использование по полной Minimax для большинства генераций кадров. Для точечных задач можно применять Gen-3 с генерацией до последнего фрейма и, конечно, функционал видео-ту-видео

А::Й /ВИДЕО — Образовательный проект для нового поколения создателей визуального контента

Помните, в сети вирусился ролик в стиле анимации Ghibli Studio на оркестровый саундтрек Многоточие — «В жизни так бывает»?

Его сделали Сергей Козлов и Дмитрий Алексеев с помощью нейросетей и традиционного монтажа в After Effects
Ребята просто решили поэкспериментировать, а ролик начали публиковать крупные телеграм-каналы и различные СМИ. О нём сняли репортаж на телевидении, а также напечатали статью в газете московского метрополитена.

А ещё они сделали официальный клип для группы PAIN, который уже набрал 572 тысячи просмотров на YouTube. А в конце октября выйдет новый ролик, который, как говорит Дима, ещё круче, чем клип для PAIN 😳

Мы пригласили Дмитрия на наш образовательный проект А::Й/ВИДЕО выступить с лекцией на тему: «Как через режиссёрские приёмы, арт-дирекшн и идеи создавать органичные проекты, которые не будут выглядеть как работы нейросетей. Как сама идея может направлять визуальный стиль. Как не ждать развития новых моделей и наслаждаться текущими возможностями».

Вот сайт, присоединяйтесь — https://byai.ru/

Если пролистать посты чуть выше (ладно не листайте, вот он @whatisitaivideo_bot), можно найти вход в предзапись, а там будет приятный промокод, который действует последние 3 дня

Как-то в 2023 году меня пригласили выступить на молодёжном форуме «Шум» в Калининграде, где я рассказывал и показывал применение нейросетей на реальных клиентских проектах

Тогда я познакомился с Андреем Дейч — сценаристом и режиссёром, который давно работает в креативной индустрии ТВ и кино. Он сотрудничал с многими известными режиссёрами как постсоветского пространства, так и запада: Ридли Скоттом, Кристофером Ноланом, Тимуром Бекмамбетовым и другими

Андрей будет у нас на А::Й /ВИДЕО с лекцией «Режиссёрское видение, как его развивать и почему нейронки без него создают черепки без жизни»

Вот его канал @visualgeshtalt , он интересно пишет про режиссуру, внимание и использование этого навыка в жизни. Подписывайтесь, если откликается!