Vidu опять что-то мутит

Видео генератор Vidu первым давно сделал возможность загружать своё фото с персонажем и генерировать с ним текст-ту-видео в любых действиях и локациях. Теперь они добавили возможность загружать не только референс персонажа, но и референс деталей и локации, чтобы объединять людей, объекты и окружение в одном генерированном видео. Единственное, что у них плохо, так это качество генерации, но направление в целом верное. Но (!) в имедж-ту-видео всё равно более контролируемый способ генерации видео

Главная проблема нейронных сетей сейчас в том, что они не умеют передавать формы так точно, как это делает человек. Для человека форма — это главное, она должна нести его продолжение как личности в мире. Именно поэтому для человека форма является самым важным при создании чего-либо. Здесь и ощущается разница. Ведь большая разница между желанием выразить себя и просто подобрать что-то подходящее, не так ли? Детали решают.

Вы ведь уже видели рекламный ролик Coca-Cola?

Как создавалась официальная ИИ-реклама кока-кола

Тезисно:
— Работали 17 художников
— Было генерировано 18000+ изображений
— Было сгенерировано 85 минут видео, которые превратились в 15 секунд
— Работали 3 недели
— Была записана оригинальная музыка
— В генерациях изображений использовались лица реальных людей

Ой какой интересный будет 25 год на применение новых креативных технологий в медиа

Генеративное видео расширяется

Вот небольшой тест использования новой функции расширения видео в Runway на примере сцены из фильма «Начало» и с использованием референса изображения. А вообще еще можно генерировать без и с подсказкой

Само исходное видео и изображение референс имеет большое значение для согласованности расширенного видео.
Чем более новый и сложный у вас фон, тем сложнее расширенным деталям соответствовать исходным данным

Очевидно, что эта функция открывает широкие возможности для создания VFX-кадров. Это сверхмощным генератор визуальных эффектов.
Еще можно соединить несколько расширений вместе, чтобы создать кинематографические движения камеры из статичных кадров. Короче это бесконечные возможности для переформатирования контента

До этого момента такой функционал был только у давно мной забытой Pika (хотя они там вроде шевелятся в плане качества своей видеомодели), но это все была «мыльная картинка» + у них так же есть наоборот дорисовка деталей в видео (Адоби там что-то анонсировал подобное, но как всегда ничего еще не вышло) — это тоже по качеству не применимо для проектов. Большая вероятность, что и у Runway будет дорисовка внутри видео. Ведь если расширять теперь можно и еще с таким качеством то и дорисовка деталей тоже очень, очень близко

Как вы думаете, будут ли студии использовать эту технологию, чтобы взять старые фильмы в формате 4:3 и растянуть их до 16:9?

Видео, из-за которого меня забанили в Midjourney

У них очень жёсткие правила по работе с новым редактором, а я генерировал там довольно жёсткие кадры, точнее — ретекстурировал. Потому что нам нужна была жесть, дичь и безумие

Это видео вышло на канале Амо Блог, в рекламной интеграции AmoCRM. Команда агентства «Джони и Клайд» нарисовала иллюстрацию, а я превратил эту иллюстрацию в реалистичного человека (референсом был мем с вечно улыбающимся человеком, который едет в машине и у которого всегда хорошее настроение). А дальше с помощью креативного пересвета в Krea я их ужесточил, чтобы добавить больше дичи на фон. Ну а моушен с липсинком делал в Kling

У меня была оплачена годовая подписка, которая открывала доступ к этому чудо-редактору в Midjourney, но после того как я не смог докупить быстрые часы и написал в поддержку, я привлёк к себе внимание. Они посмотрели мои «страшные генерации» и забанили за нарушения правил сообщества. Я, конечно же, написал апелляцию, но, как показывает практика, шансы на разблокировку минимальны

Короче, новый редактор в Midjourney — это очень мощный и крутой инструмент с возможностью редактирования загруженных изображений и ретекстурирования, и он доступен только тем, у кого годовой тарифный план на официальном сайте

Но сейчас уже есть возможность пользоваться этим редактором в боте Syntx — тут моя реферальная ссылка если что. Советую попробовать поиграться

Такие дела

Sora ис хир!

Посмотрел первый обзор интерфейса видеогенератора Sora, который доверили техноблогеру Маркесу Браунли и вот что думаю:

Что никакого вау лично для меня тут нет. Hailuo Minimax или недавно вышедший опенсорс Hunyuan Video (сделаю пост о нем позже) уже все это умеют. Что жесткая модерация всего и вся не даст развернуться творческой мысли. Будем посмотреть

Из прикольного — функция сториборда, которая позволяет комбинировать несколько подсказок и несколько изображений для создания длинных видео с плавными переходами.

За 20$ в максимальном качестве 720p и разрешении 1:1 будет где-то 30 видео по 5 секунд
За 200$ в максимальном качестве 1080p долгий безлимит или где-то 50 быстрых видео по 5 секунд в разрешении 1:1

В тарифе за $20 нельзя генерировать из изображений, где есть люди

Выйдет уже прям вот вот — https://sora.com/