Наконец-то всё становится реальным
Сначала была Sora, потом китайская Vidu, потом Veo от Google. Уже вот китайский Kling раздаёт всем доступы, но тут ворвалась LumaAI, которая всем без исключения уже доступна: https://lumalabs.ai/dream-machine
Движение и согласованность превосходны. Мне очень понравилась трехмерная целостность. И это только начало. Всё, как мы любим: текст-ту-видео и имедж-ту-видео. Хорошо работает, когда выдёргиваем последний кадр (а лучше предпоследний) из генерации и закидываем его в качестве изображения, а дальше склеиваем. Так можно делать длинные куски видео
Ценник:
30 генераций в месяц бесплатно,
120 генераций за $29.99,
400 за $99,
2000 за $499.
Знаю, сколько мощностей это всё жрёт, со стоимостью согласен. Взял 400 генераций, играюсь
Кто создаёт проекты с помощью Runway, Pika и подобных видеомоделей, которые кажутся уже устаревшими (но лето будет жарким и это инсайдерская инфа =)), подумайте, как можно миксовать инструменты в рабочем процессе, и применяя фрейм-интерполяцию с помощью ToonCrafter (расскажу позже) и кейфреймы от KreaAI c новой Dream machine от LumaAI
Очень жду ваши генерации в комментарии
Сначала была Sora, потом китайская Vidu, потом Veo от Google. Уже вот китайский Kling раздаёт всем доступы, но тут ворвалась LumaAI, которая всем без исключения уже доступна: https://lumalabs.ai/dream-machine
Движение и согласованность превосходны. Мне очень понравилась трехмерная целостность. И это только начало. Всё, как мы любим: текст-ту-видео и имедж-ту-видео. Хорошо работает, когда выдёргиваем последний кадр (а лучше предпоследний) из генерации и закидываем его в качестве изображения, а дальше склеиваем. Так можно делать длинные куски видео
Ценник:
30 генераций в месяц бесплатно,
120 генераций за $29.99,
400 за $99,
2000 за $499.
Знаю, сколько мощностей это всё жрёт, со стоимостью согласен. Взял 400 генераций, играюсь
Кто создаёт проекты с помощью Runway, Pika и подобных видеомоделей, которые кажутся уже устаревшими (но лето будет жарким и это инсайдерская инфа =)), подумайте, как можно миксовать инструменты в рабочем процессе, и применяя фрейм-интерполяцию с помощью ToonCrafter (расскажу позже) и кейфреймы от KreaAI c новой Dream machine от LumaAI
Очень жду ваши генерации в комментарии
This media is not supported in your browser
VIEW IN TELEGRAM
Как сделать свои генерации в LumaAI еще качественнее? Например, можно пропустить их через Krea Enhancer — это креативный апскейлер, только для видео
https://www.krea.ai/apps/image/enhancer
https://www.krea.ai/apps/image/enhancer
This media is not supported in your browser
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Что я понял после нескольких дней тестов Luma и наблюдения за сообществом
Extend в Luma дает возможность строить очень длинные, непрерывные сцены, перемещаться по пространству, то есть буквально можно строить миры и управлять всем, что происходит в сцене. Иногда халтурно но вы можете сидеть, стоять, бегать, подбегать, танцевать... Все, что угодно
Можно одно и то же изображение запустить с разным описанием движения камеры и потом на монтаже сделать реверс одного из видео и склеить, получив длинный пролёт камеры
Если включена опция «Enhance Prompt», то Luma хорошо понимает то, что изображено на картинке и её контекст. То есть в прописывании промпта можно писать только, какое движение нужно и каких деталей. По умолчанию #Luma добавляет много движения в кадре, его можно контролировать, прописав силу движения в промпте, например: «slight movement of the camera to the right» или «the head slowly turns to the left». Если не получается то, что нужно, можно отключить «Enhance Prompt» и самому описать то, что на изображении, и описать движение
Помочь с описанием движений может GPT (в поиске GPTs https://chatgpt.com/gpts напишите Luma Dream Machine, я пробовал от Доброкотова), он анализирует изображение, описывает его и прописывает, какое может быть движение в этом кадре. Помогает, когда нужны идеи или то, от чего можно оттолкнуться
Ещё из обновлений в #Luma:
— на платных тарифах теперь не будет вотермарки
— появится возможность редактирования любых деталей в сгенерированной сцене и понятное управление камерой
Как хорошо, что у меня есть личная «умная лента» по теме технологий и ИИ. Она позволяет мне быть на гребне волны и видеть то, что получается у энтузиастов и ИИ-исследователей =)
Extend в Luma дает возможность строить очень длинные, непрерывные сцены, перемещаться по пространству, то есть буквально можно строить миры и управлять всем, что происходит в сцене. Иногда халтурно но вы можете сидеть, стоять, бегать, подбегать, танцевать... Все, что угодно
Можно одно и то же изображение запустить с разным описанием движения камеры и потом на монтаже сделать реверс одного из видео и склеить, получив длинный пролёт камеры
Если включена опция «Enhance Prompt», то Luma хорошо понимает то, что изображено на картинке и её контекст. То есть в прописывании промпта можно писать только, какое движение нужно и каких деталей. По умолчанию #Luma добавляет много движения в кадре, его можно контролировать, прописав силу движения в промпте, например: «slight movement of the camera to the right» или «the head slowly turns to the left». Если не получается то, что нужно, можно отключить «Enhance Prompt» и самому описать то, что на изображении, и описать движение
Помочь с описанием движений может GPT (в поиске GPTs https://chatgpt.com/gpts напишите Luma Dream Machine, я пробовал от Доброкотова), он анализирует изображение, описывает его и прописывает, какое может быть движение в этом кадре. Помогает, когда нужны идеи или то, от чего можно оттолкнуться
Ещё из обновлений в #Luma:
— на платных тарифах теперь не будет вотермарки
— появится возможность редактирования любых деталей в сгенерированной сцене и понятное управление камерой
Как хорошо, что у меня есть личная «умная лента» по теме технологий и ИИ. Она позволяет мне быть на гребне волны и видеть то, что получается у энтузиастов и ИИ-исследователей =)
Кастомизация видео моделей в Gen-3
Думаю, что как сейчас в генерации изображений есть возможность обучить свою модель на определённом стиле и персонаже, то же самое будет и у видео моделей. Имеется ввиду, что все это будет через интуитивно понятный интерфейс
И первыми тут будут Runway Gen-3. То есть, учитывая, что новая реальность в видео генерациях — это уже не «двигание пикселей», а «генерация пространства», при кастомизации видео модели у нас будет возможность полной согласованности внешнего вида персонажей в различных сценах и согласованности сцен в разных ракурсах
Пару недель максимум, и Gen-3 будет доступна всем
Вижу, как активизировались все после вдруг появившейся Luma
Сегодня мне дали доступ к китайским моделям Kling (выложу пост позже) и написали, что добавили в бета-тестеры ребята из Vidu
Думаю, что как сейчас в генерации изображений есть возможность обучить свою модель на определённом стиле и персонаже, то же самое будет и у видео моделей. Имеется ввиду, что все это будет через интуитивно понятный интерфейс
И первыми тут будут Runway Gen-3. То есть, учитывая, что новая реальность в видео генерациях — это уже не «двигание пикселей», а «генерация пространства», при кастомизации видео модели у нас будет возможность полной согласованности внешнего вида персонажей в различных сценах и согласованности сцен в разных ракурсах
Пару недель максимум, и Gen-3 будет доступна всем
Вижу, как активизировались все после вдруг появившейся Luma
Сегодня мне дали доступ к китайским моделям Kling (выложу пост позже) и написали, что добавили в бета-тестеры ребята из Vidu
Cписок из 30 приемов для управления камерой в Lumа Dream Machine и Gen-3 Alpha
Подходит для t2v и i2v. Скоро, чем-то можно будет управлять на уровне интерфейсов, но многое из приемов получится делать только дополняя текстом:
Камера остается неподвижной
«The camera remains fixed»
Камера перемещается горизонтально (влево или вправо)
«The camera moves horizontally (left or right)»
Камера перемещается вертикально (вверх или вниз)
«The camera moves vertically (up or down)»
Камера приближается к объекту или удаляется от него
«The camera moves towards or away from a subject»
Камера следует за объектом
«The camera follows a subject»
Камера перемещается с помощью крана или стрелы
«The camera moves using a crane or jib arm»
Камера плавно следует за кадром с помощью стедикама
«The camera follows smoothly using a Steadicam»
Камера движется естественным образом, когда ее держат в руках
«The camera moves with natural hand-held motion»
Камера увеличивает или уменьшает масштаб
«The camera zooms in or out»
Камера быстро поворачивается, создавая размытие
«The camera rapidly pans, creating a blur»
Камера переключает фокус между объектами
«The camera shifts focus between subjects»
Камера наклоняется вбок
«The camera tilts sideways»
Камера движется вокруг объекта круговыми движениями
«The camera moves around the subject in a circular motion»
Камера расположена прямо над ним
«The camera is positioned directly above»
Камера снимает вид с высокой точки обзора
«The camera captures a high vantage point view»
Начните с наезда на объект, затем поверните на выкат
«Start with a dolly-in towards the subject, then reverse to a dolly-out»
Камера вращается на 360 градусов вокруг объекта
«The camera spins 360 degrees around the subject»
Следящий выстрел с низкого угла
«A tracking shot from a low angle»
Быстрое панорамирование между несколькими объектами
«A rapid whip pan between multiple subjects»
Начните со съёмки с воздуха, затем плавно переходите на уровень земли
«Start with an aerial shot, then smoothly transition to ground level»
Съемка с помощью стедикама, следующего за бегущим объектом, в быстром темпе
«A fast-paced steadicam shot following a sprinting subject»
Одновременное увеличение и уменьшение масштаба
«Simultaneously dolly in and zoom out»
Съемка с рук за объектом, который резко остановился
«A handheld shot following a subject that comes to an abrupt stop»
Замедленное панорамирование сцены
«A slow-motion pan across a scene»
Камера движется назад, а объект движется вперед
«The camera tracks backward while the subject moves forward»
Покадровая съемка, при которой камера движется вокруг объекта
«A time-lapse shot with the camera arcing around the subject»
Выстрел через плечо с небольшим наклоном
«An over-the-shoulder shot with a slight tilt»
Камера поднимается из-под воды на поверхность воды
«The camera rises from underwater to above water»
Вращение, которое переходит в новую сцену
«A spin shot that transitions to a new scene»
Панорамирование, отражающееся от зеркала
«A pan shot that reflects off a mirror»
Подходит для t2v и i2v. Скоро, чем-то можно будет управлять на уровне интерфейсов, но многое из приемов получится делать только дополняя текстом:
Камера остается неподвижной
«The camera remains fixed»
Камера перемещается горизонтально (влево или вправо)
«The camera moves horizontally (left or right)»
Камера перемещается вертикально (вверх или вниз)
«The camera moves vertically (up or down)»
Камера приближается к объекту или удаляется от него
«The camera moves towards or away from a subject»
Камера следует за объектом
«The camera follows a subject»
Камера перемещается с помощью крана или стрелы
«The camera moves using a crane or jib arm»
Камера плавно следует за кадром с помощью стедикама
«The camera follows smoothly using a Steadicam»
Камера движется естественным образом, когда ее держат в руках
«The camera moves with natural hand-held motion»
Камера увеличивает или уменьшает масштаб
«The camera zooms in or out»
Камера быстро поворачивается, создавая размытие
«The camera rapidly pans, creating a blur»
Камера переключает фокус между объектами
«The camera shifts focus between subjects»
Камера наклоняется вбок
«The camera tilts sideways»
Камера движется вокруг объекта круговыми движениями
«The camera moves around the subject in a circular motion»
Камера расположена прямо над ним
«The camera is positioned directly above»
Камера снимает вид с высокой точки обзора
«The camera captures a high vantage point view»
Начните с наезда на объект, затем поверните на выкат
«Start with a dolly-in towards the subject, then reverse to a dolly-out»
Камера вращается на 360 градусов вокруг объекта
«The camera spins 360 degrees around the subject»
Следящий выстрел с низкого угла
«A tracking shot from a low angle»
Быстрое панорамирование между несколькими объектами
«A rapid whip pan between multiple subjects»
Начните со съёмки с воздуха, затем плавно переходите на уровень земли
«Start with an aerial shot, then smoothly transition to ground level»
Съемка с помощью стедикама, следующего за бегущим объектом, в быстром темпе
«A fast-paced steadicam shot following a sprinting subject»
Одновременное увеличение и уменьшение масштаба
«Simultaneously dolly in and zoom out»
Съемка с рук за объектом, который резко остановился
«A handheld shot following a subject that comes to an abrupt stop»
Замедленное панорамирование сцены
«A slow-motion pan across a scene»
Камера движется назад, а объект движется вперед
«The camera tracks backward while the subject moves forward»
Покадровая съемка, при которой камера движется вокруг объекта
«A time-lapse shot with the camera arcing around the subject»
Выстрел через плечо с небольшим наклоном
«An over-the-shoulder shot with a slight tilt»
Камера поднимается из-под воды на поверхность воды
«The camera rises from underwater to above water»
Вращение, которое переходит в новую сцену
«A spin shot that transitions to a new scene»
Панорамирование, отражающееся от зеркала
«A pan shot that reflects off a mirror»
This media is not supported in your browser
VIEW IN TELEGRAM
Когда появляется какая-то новая технология или обновление какого-то инструмента, сразу хочется переделать все старые работы
Вот, например, этот сниппет я делал полгода назад. Тут совмещение генерации и live-action сцен. Интересно, как бы это сейчас смотрелось, если пропустить генерации через Luma?!
Наверное, не буду этого делать. Просто пойду дальше. И помните, клиент оценивает ваш уровень по самой худшей работе в портфолио
Трек Милу — Эго
Моушен Runway Gen 2
Image Midjourney
Вот, например, этот сниппет я делал полгода назад. Тут совмещение генерации и live-action сцен. Интересно, как бы это сейчас смотрелось, если пропустить генерации через Luma?!
Наверное, не буду этого делать. Просто пойду дальше. И помните, клиент оценивает ваш уровень по самой худшей работе в портфолио
Трек Милу — Эго
Моушен Runway Gen 2
Image Midjourney
Ключевые кадры у Luma волшебны. Открылись новые возможности для управления сюжетом
Технология AnimationDiff, ToonCrafter на движке Dream Machine — что может быть еще круче? Какие же вещи можно из этого делать?! Провел несколько тестов из кадров в MJ.
Если у Krea это больше морфинг от AnimationDiff с определенным стилем, что тоже круто, можно встраивать в креативные проекты. А у Luma — это гладкое встраивание пространства из одного изображения в другое, учитывая контекст. Не говорю уже, какие неожиданные вещи можно получать, совмещая разные по контексту изображения. Например, совместить все мемы подряд или сцены из разных фильмов
Пока только 2 ключевых кадра можно подгружать. Было бы круто, если можно было бы 4-5 изображений использовать, что даст очень четкое и продолжительное управление происходящим в сцене. А пока старый добрый ручной монтаж
Короче, кайф!
Технология AnimationDiff, ToonCrafter на движке Dream Machine — что может быть еще круче? Какие же вещи можно из этого делать?! Провел несколько тестов из кадров в MJ.
Если у Krea это больше морфинг от AnimationDiff с определенным стилем, что тоже круто, можно встраивать в креативные проекты. А у Luma — это гладкое встраивание пространства из одного изображения в другое, учитывая контекст. Не говорю уже, какие неожиданные вещи можно получать, совмещая разные по контексту изображения. Например, совместить все мемы подряд или сцены из разных фильмов
Пока только 2 ключевых кадра можно подгружать. Было бы круто, если можно было бы 4-5 изображений использовать, что даст очень четкое и продолжительное управление происходящим в сцене. А пока старый добрый ручной монтаж
Короче, кайф!
This media is not supported in your browser
VIEW IN TELEGRAM
У Runway настолько хреновая модель генерации изображений, что свой Gen 3 они начали только с text-to-video. Вот так они не любят Midjourney и завидуют, что все генерируют изображения там и идут в runway только за моушеном этих изображений
От Gen 3 пока смешанное чувство. В целом сгенерировал около 30 шотов, из них только 3 получились удачными
Тут есть их внутренний гайд по структуре подсказок и примеры описания камеры, света, движения и стиля
Попробовать могут все у кого тариф стандарт — https://runwayml.com/
Но лучше, пока эти деньги отдайте Luma =) Я конечно буду дальше Gen 3 исследовать и разбираться
От Gen 3 пока смешанное чувство. В целом сгенерировал около 30 шотов, из них только 3 получились удачными
Тут есть их внутренний гайд по структуре подсказок и примеры описания камеры, света, движения и стиля
Попробовать могут все у кого тариф стандарт — https://runwayml.com/
Но лучше, пока эти деньги отдайте Luma =) Я конечно буду дальше Gen 3 исследовать и разбираться