Небольшая команда кинематографистов создала полнометражный мультфильм с помощью ИИ

Это знаковое событие, потому что оно в целом доказывает концепцию того, что ИИ можно и нужно использовать для создания полноценной сюжетной истории с небольшим бюджетом и силами небольшой команды

Конечно, 100% мультфильма не было сделано с помощью ИИ. Он стал основным инструментом, но не единственным. Главная задача новых технологий — помогать рассказчикам воплощать идеи, а не становиться заменой всего и вся

Основная сила мультфильма — в истории. Сюжет настолько захватывает, что я перестал думать о том, что это создано с помощью ИИ. Это очень важно: если технология становится заметнее сюжета, то это провал

Также в сюжете минимум физического взаимодействия между персонажами, что значительно упрощает процесс анимации. Это позволило сосредоточиться на эмоциональной составляющей без технических усложнений

Фильм также использует настоящих актёров озвучки, что конечно большой плюс, ведь ИИ-голоса пока не могут передавать эмоции так же точно, как живые актёры. Ещё одна успешная техника — использование захвата движений (motion capture), что добавило движениям персонажей правдоподобности

В целом, мульфильм «Где растут Роботы» демонстрирует, как можно объединить традиционные технологии с ИИ для создания полноценного мультфильма

Смотрел с русским дубляжем в Я.браузере

Честное мнение о всех доступных генераторах видео

Runway Gen-3
Хорош для более стабильных шотов без явной динамики в кадре. Дает хорошую чёткость видео, но изменение контрастности — явный косяк (или только я один это замечаю?). Лучшая модель для видео-ту-видео стилизации загруженных видео. Они первыми начали продвигать понятие GVFX для создания эффектов в реальных снимках, и у них это получается хорошо

Kling
Единственная на данный момент модель, которая генерирует в разрешении 1080. Стабильный результат, хороший баланс между стабильностью и динамикой в кадре. Очень хорошо работает Motion Brush для управления объектами в кадре, даёт отличные результаты в большинстве генераций. Генерация очень доооолгая, особенно если это 10-секундные шоты

Minimax
Дает самую лучшую динамику в кадре из-за чего и иногда получаются результаты с морфингом (искажениями). В целом модель отлично подходит для задач, где требуются естественные движения в кадре

Luma
Хорошо работают ключевые кадры. Если использовать модель как обычный генератор, результаты получаются «мыльными» и уступают вышеупомянутым моделям

Pika
Неплохо натренировали новую модель на эффектах, но это больше фан и маркетинг. Модель хуже, чем та же Luma. Не вижу ни одной причины использовать её в рабочих процессах

Haiper
Обновились до версии 2.0: улучшилась динамика, но по-прежнему много брака с морфингом. Уровень примерно между Luma и Pika. В обновлении появилась возможность добавлять промежуточные кадры — первый, второй и третий. Также, как и в новом Premier Pro, можно продлевать загруженное видео

На текущий момент идеальная связка для действительно качественной работы — это точечное использование функционала Kling (Motion Brush, кейфреймы, просто моушен кадров) и использование по полной Minimax для большинства генераций кадров. Для точечных задач можно применять Gen-3 с генерацией до последнего фрейма и, конечно, функционал видео-ту-видео

А::Й /ВИДЕО — Образовательный проект для нового поколения создателей визуального контента

Помните, в сети вирусился ролик в стиле анимации Ghibli Studio на оркестровый саундтрек Многоточие — «В жизни так бывает»?

Его сделали Сергей Козлов и Дмитрий Алексеев с помощью нейросетей и традиционного монтажа в After Effects
Ребята просто решили поэкспериментировать, а ролик начали публиковать крупные телеграм-каналы и различные СМИ. О нём сняли репортаж на телевидении, а также напечатали статью в газете московского метрополитена.

А ещё они сделали официальный клип для группы PAIN, который уже набрал 572 тысячи просмотров на YouTube. А в конце октября выйдет новый ролик, который, как говорит Дима, ещё круче, чем клип для PAIN 😳

Мы пригласили Дмитрия на наш образовательный проект А::Й/ВИДЕО выступить с лекцией на тему: «Как через режиссёрские приёмы, арт-дирекшн и идеи создавать органичные проекты, которые не будут выглядеть как работы нейросетей. Как сама идея может направлять визуальный стиль. Как не ждать развития новых моделей и наслаждаться текущими возможностями».

Вот сайт, присоединяйтесь — https://byai.ru/

Если пролистать посты чуть выше (ладно не листайте, вот он @whatisitaivideo_bot), можно найти вход в предзапись, а там будет приятный промокод, который действует последние 3 дня

Как-то в 2023 году меня пригласили выступить на молодёжном форуме «Шум» в Калининграде, где я рассказывал и показывал применение нейросетей на реальных клиентских проектах

Тогда я познакомился с Андреем Дейч — сценаристом и режиссёром, который давно работает в креативной индустрии ТВ и кино. Он сотрудничал с многими известными режиссёрами как постсоветского пространства, так и запада: Ридли Скоттом, Кристофером Ноланом, Тимуром Бекмамбетовым и другими

Андрей будет у нас на А::Й /ВИДЕО с лекцией «Режиссёрское видение, как его развивать и почему нейронки без него создают черепки без жизни»

Вот его канал @visualgeshtalt , он интересно пишет про режиссуру, внимание и использование этого навыка в жизни. Подписывайтесь, если откликается!

Идея для видео в рилсы

Видео начинается с карандашного наброска (можно даже первую секунду сделать с реальной рукой, в которой карандаш и как рука убирается из кадра), потом все перетекает в разные стили. То есть тут связка нового ретекстуринга от Midjourney и кейфремов от Luma или Kling. На фон накинуть звуки от Elevenlabs и музыку от Suno или Udio. И сделать еще видео зацикленным, то есть взять начальный кадр из реального видео с рукой и использовать его как последний в кейфремах

Если придумать интересные визуалы и в целом идеи, то может собирать просмотры, чисто ради эксперимента сделать 20 разных таких видео и выложить на новых аккаунтах во всех соц. сетях, где есть вертикальные видео

В производстве дела не хитрое. Загвоздка может быть в рисовании чего-то от руки, а с идеями точно справится ChatGPT

Сравнение нового Runway Act one и старого ViggleAI

У Act One заметно лучшее качество и детализация. У ViggleAI больше движений, включая движения тела, но также больше искажений

Вообще, у них разный принцип работы, но по сути они решают одну задачу. ViggleAI берёт только персонажа из исходного видео и заменяет его персонажем с изображения, то есть выполняет трекинг всего тела. А вот у Act One пока только мимику лица с еле заметными движениями плеч

Если дополнительно пропускать результат от ViggleAI, через video-to-video от Runway то должно получаться очень хорошо (но только если не нужен персонаж с изображения)

Бу — это имя обезьяны, которая пытается запустить свой бизнес и ведёт свой амоБлог

Сделали видео с помощью нейросети для рекламной интеграции в новом выпуске про Ozon. Это большой выпуск про маркетплейс, в котором есть рекламная интеграция AmoCRM

Поставил таймкод сразу на начало интеграции, но вообще посмотрите весь выпуск и гляньте другие видео на их канале

Иллюстрации рисовала команда ютубозапускационного агентства «Джони и Клайд», а моушен я делал в Kling

Получилось, конечно, смешно!