Если бы у Индианы Джонс была гарнитура Apple Vision..

Забавное переосмысление, похоже на отрывок из новой серии «Черное зеркало»

Runway будет лучше, чем Sora?

Нравится вся эта гонка обновлений, уже не раз замечал, что как только одна из нейросетей анонсирует какой-то новый функционал, как другая нейросеть сразу сообщает что-то у себя. Вот у GEN2 появилось небольшое но полезное обновление — сегментирование при работе с моушен кистью

Ген. дир Runway сказал, что их новая модель будет лучше чем Sora и выйдет раньше, чем у OpenAI

Есть мнение, что Sora не выйдет раньше ноября, то есть не раньше выборов в США

Еще сами разработчики Sora на форуме пишут, что генерация 1 минуты видео занимает 1 час времени

OpenAI продолжает показывать новые Sora видосы, выкладывать, показывать вам или нафиг?)

О чем я и говорил!

Как только Runway выпустили сегментацию в моушене, так Pika релизнули липсинк

Ок липсинк победил!
Оно очень нам не хватало

Голос можно генерировать из текста или подгружать файл с голосом

Сделал дубляж на Русский в Elevenlabs

Безумная Алибаба

Они придумали метод генерировать видео аватары с реалистичными движениями головы и выражениями лица из одной статичной фотографии. В качестве аудио, может быть пение или просто разговор

А если сюда еще добавить естественную жестикуляцию рук, представляете, что будет?)) Больше примеров:
https://humanaigc.github.io/emote-portrait-alive/

«Хотя Сора и умеет создавать вещи, которые кажутся реальными, нас волнует ее способность создавать вещи совершенно сюрреалистические»

Художники, дизайнеры, креативные директора и режиссёры около месяца тестировали пока не доступную для всех нейросеть Sora от OpenAI, и вот какие работы они создали

«Air head» больше всего понравилась, перевел на русский эту работу, все остальные работы в блоге OpenAi

2005: сходить в кинотеатр

2015: смотреть Netflix

2025: попросите LLM + text-to-video создать новый сезон черного зеркала, чтобы посмотреть его сегодня вечером, но чтобы действие происходило в нужной локации и с нужными актерами в главных ролях

«Мам мне приснился крутой сон и я не хочу его забыть»

Нравится как продвигается сервис ltx.studio для создания и визуализации историй с помощью ИИ. Такие платформы сейчас очень нужны, которые внутри себя замыкают весь процесс продакшена

Заход через детей, конечно хорошо может расширить аудиторию пользователей сервиса и в целом «популяризацию визуализации историй с помощью ИИ»

В комментариях добавил работы, которые они публикуют у себя в дискорде

Как создавался «Air head» в нейросети Sora

Команда Shy kids, рассказали про процесс работы над «Воздушной головой». Судя по отрывкам из видео, было много неудачных кадров, из которых уже приходилось выбирать лучшие и дорабатывать в ручную, чтобы хоть как-то сохранить последовательность

Саунд-дизайн — очень важная часть любого видео, и теперь его стало проще создавать

Как работает функция audio-to-audio в нейросети Stable Audio

Записываете имитацию звука: на видео это шаги в пещере, музыкальный мотив — звуки дудки и барабанов. А потом следующей дорожкой — преобразование шагов и музыкального мотива в новый музыкальный мотив. В итоге у нас есть 3 музыкальные дорожки, что усилили видео, сделали его атмосфернее.

Мне нравится голосовое управление и какой контроль это дает. О чем подумал, то и получилось

В комментариях есть еще пример

Гиипотеза

1) Заходишь на сайт музыкальной нейросети suno.ai
2) Генеришь песни со своим текстом, в любом популярном сейчас жанре
3) Генеришь обложки для песен в любой нейросети
4) Через партнеров Яндекс музыки загружаешь все песни на музыкальные платформы
5) Создаешь умную ссылки от BandLink с кнопками
6) Создаешь аккаунты во всех соц сетях с вертикальными видео
7) И загружаешь много видео, с твоими треками на фоне, обязательно подписывай их

Люди будут переходить по ссылке в шапке профиля и слушать твои нейротреки, а ты получать деньги за каждое прослушивание

_____

Это не «темка», это долго и трудно, с кучей нюансов и тонкостей. Я, как творческий человек с музыкальным бэкграундом, очень кайфую от этой нейросети. Это как Midjourney, только в музыке. И мне очень нравится процесс, когда я могу свои старые тексты озвучить и визуализировать их, а потом ещё и заработать на этом пару копеек. Да, именно копеек, чёткой инфы нет, сколько платят стриминги за прослушивания. Я посмотрел много видео на YouTube, которые выходили за 23-24 год, и разброс по ценнику такой: от 0,03 до 0,25 копейки за 1 прослушивание, в зависимости от стриминговой платформы

Воркфлоу по замене человека в видео с помощью ViggleAI

Сначала делается ротоскопирование объекта с помощью After Effects, потом это видео отправляется в ViggleAI и с референсом изображения Джокера генерируется новое видео. Затем все собирается обратно (видео с Джокером и фоном) и прогоняется через AnimateDiff для улучшения качества встраивания слоя с Джокером в оригинальный слой

Видео не мое, но рабочий процесс абсолютно понятен будет тем, кто работает в Comfy и Animation Diff

Если надо, может быть на ютуб сделаю выпуск про это

Микроистории за несколько минут

Приложение, которое принимает любое изображение и превращает его в визуальную микроисторию, используя GPT-4 Vision для распознания контекста, GPT-4 для промптинга и IPAdapter для эмуляции стиля входного изображения

Мне нравится, как быстро можно создавать в одном контексте и одной стилистике изображения, которые потом можно объеденить в одну историю с моушеном и музыкой

Есть что рассказать?

Нужно за 72 часа используя нейросеть Pika и Elevenlabs рассказать историю до 3 минут
Конкурс проходит 12-14 апреля
Тему озвучат в четверг 11 апреля

Будет 5 победителей:
Лучший в целом: 2000 долларов.
Лучшие визуальные эффекты: 500 долларов.
Лучший звук: 500 долларов.
Лучший рассказ: 500 долларов.
Лучший эксперимент: 500 долларов.

На время конкурса нейронки будут бесплатными. Регистрация тут

Будете участвовать?

Связки решают

Да, нейронки хороши по отдельности, но реальная сила в том, чтобы научиться их использовать в связке, чтобы получать что-то действительно новое и креативное

Это пример рабочего процесса по замене человека:
Наброски нарисованы в Procreate, потом с помощью апскейлера и трансфера стиля в Magnific наброски обрели визуализацию. Дальше в 3DAI Studio визуализация конвертируется в отдельные 3D объекты. Потом с помощью телефона снимаем движения в приложении Move AI, которое отслеживает скилет движений. И собираем все в Cinema 4D, где на отслеживаемые движения накладывается собранная визуализация из 3D объектов

Вот на какое творчество способен креативный подход и новые инструменты, которые сейчас доступны каждому

ИИ Инструменты:
https://magnific.ai/ (можно заменить на трансфер стиля от adobe fire fly или krea) для визуализации
https://www.move.ai для отслеживания движения
https://3daistudio.com для image to 3D

Новая функция случайного стиля в MJ

Пару недель назад писал, что использую Midjourney все чаще как бесконечный источник вдохновения и сегодня они добавили приятную мелочь под названием --sref random, с помощью которой можно генерить множество стилей

В конце промпта нужно написать --sref random

Было бы хорошо, если бы ещё было описание каждого стиля, но с другой стороны, какая разница? Можно же просто дальше ссылаться на конкретный стиль, который только что выдал рандом

И ещё раз, альтернативное применение любых генеративных технологий — это возможность множественного перебора различных вариаций контента, который разовьёт насмотренность и креативный ум и никогда не оставит без новой дозы вдохновения

Вдохновить это может не только на генерацию картинки в новом стиле, но и на идеи новых проектов и прочие крутые будущие штуки, которые может выдать ваш мозг