НЕ РЕ АЛЬ НО

Это GPT Sora, может создавать видео из текста до 60 секунд. И это не нарезка из фотостоков. Всё, как я люблю, «видео из ничего» (если технически, то из шума, так же, как и изображения и другие видео нейронки)

Так как это OpenAI и технологии ChatGPT, то с пониманием человеческого языка и правильной интерпретацией проблем не будет, то есть, если вы генерировали изображения в ChatGPT, знаете, как там всё с пониманием промптов и детализацией, вот тоже самое теперь и с видео

Sora может генерировать сложные сцены с несколькими персонажами, определенными типами движения и точными деталями объекта и фона

Я кайфу и очень жду. Думаю, два-три месяца и будет в подписке ChatGPT
А прямо сейчас Сэм Алтман, у себя в твиттере, генерирует, то что ему пишут в комментариях

А у себя в комментариях еще разные видео от этой нейронки

Вот теперь пооживляем картиночки, да?

Это GPT Sora, которая тоже умеет из image в to video

Runway, Pika, Stable Video, что с лицом?

Эфир будет, но не сегодня. Что-то настра нет)

Вот вам новая порция видео от Sora

Новый способ управления движением в видео

Это Boximator от TikTok, который предлагает больше контроля над специфическими движениями и гибкий способ указывать «что двигать» и «как двигать» в видео

То есть, можно указать точку А и точку Б и ровно по этой траектории будет происходить движение, что дает нам возможность делать специфические движения, в отличие от Runway и его Motion Brush, где мы просто указываем направление, без указания конечной точки (думаю, они это скоро тоже добавят)

Инфа на Github https://boximator.github.io/

Демо для пользователей будет через пару месяцев, а пока можно отправлять им на почту [email protected] свои изображения в формате 1:1 с описанием движения, которое хотите получить, а они в ответ пришлют видео

Вышла!

Пока это не Sora, но это второй после нее инструмент по созданию видео из изображений. Да! Это лучше, чем Pika и Runway (хотя у них multi motion brush очень хорош)

Видео получается 96 кадров в секунду. Модель как и Sora понимает контекст и хотябы минимально, физику объектов. Есть управление камерой, сила моушена. Дают 15 генераций в день

Stable Video — https://www.stablevideo.com

Присылайте результаты в комментарии

Сравнил Sora со Stable Video и вот, что из этого вышло

Вчера, когда я выложил пост про Stable Video, в комментариях были много недовольных результатами, а я не мог понять, в чем дело, ведь в этот момент я собирал мини-клип с использованием этой нейронки и получавшийся результат меня устраивал

И кажется я понял, в чем тут дело. Многие не понимают, в чем конкретно хорош тот или иной инструмент...

Начал проводить большое исследование по Runway x Pika x Stable Video

Если бы у Индианы Джонс была гарнитура Apple Vision..

Забавное переосмысление, похоже на отрывок из новой серии «Черное зеркало»

Runway будет лучше, чем Sora?

Нравится вся эта гонка обновлений, уже не раз замечал, что как только одна из нейросетей анонсирует какой-то новый функционал, как другая нейросеть сразу сообщает что-то у себя. Вот у GEN2 появилось небольшое но полезное обновление — сегментирование при работе с моушен кистью

Ген. дир Runway сказал, что их новая модель будет лучше чем Sora и выйдет раньше, чем у OpenAI

Есть мнение, что Sora не выйдет раньше ноября, то есть не раньше выборов в США

Еще сами разработчики Sora на форуме пишут, что генерация 1 минуты видео занимает 1 час времени

OpenAI продолжает показывать новые Sora видосы, выкладывать, показывать вам или нафиг?)

О чем я и говорил!

Как только Runway выпустили сегментацию в моушене, так Pika релизнули липсинк

Ок липсинк победил!
Оно очень нам не хватало

Голос можно генерировать из текста или подгружать файл с голосом

Сделал дубляж на Русский в Elevenlabs

Безумная Алибаба

Они придумали метод генерировать видео аватары с реалистичными движениями головы и выражениями лица из одной статичной фотографии. В качестве аудио, может быть пение или просто разговор

А если сюда еще добавить естественную жестикуляцию рук, представляете, что будет?)) Больше примеров:
https://humanaigc.github.io/emote-portrait-alive/

«Хотя Сора и умеет создавать вещи, которые кажутся реальными, нас волнует ее способность создавать вещи совершенно сюрреалистические»

Художники, дизайнеры, креативные директора и режиссёры около месяца тестировали пока не доступную для всех нейросеть Sora от OpenAI, и вот какие работы они создали

«Air head» больше всего понравилась, перевел на русский эту работу, все остальные работы в блоге OpenAi