Что я понял, поработав с нейросетью Heygen

1. Видео лучше закидывать без склеек
2. Чем лучше будет записан голос, тем лучше он будет распознан и адаптирован под иностранный язык
3. Голос на видео должен быть без посторонних шумов
4. Качество видео ухудшается после перевода
5. Получившийся зарубежный голос лучше транскрибировать в текст, чтобы перевести на русский, потому что heygen может не понять некоторых смыслов и тогда исказит его, как нейросети будет удобно:

Оригинал моего текста 🤓
«Исследуя креативные технологии и искусственный интеллект, я нашел нейросеть heygen, которая озвучит вашим голосом, на другом языке, любое видео. Мимика лица на видео подстраиваться под новый дубляж»

Галлюцинации heygen 🤥
«Этот простой процесс гарантирует, что видеоролик дойдет до более широкого круга зрителей, независимо от их языковых предпочтений. Предоставление многоязычных опций позволяет удовлетворить потребности международной аудитории и создать более широкие возможности для просмотра»
___

В целом я доволен, не стал ждать очереди, а купил тариф. Кто создает видео в рилс/шорт/тик-ток и длинные видео на ютуб — точно стоит попробовать хотя бы на англоязычную аудиторию дублироваться, не обязательно сразу лезть во все страны. Без команды сложно будет.

Поигрался тут с музыкальной нейросетью SUNO
Меня как человека, который много лет занимался музыкой — этот инструмент очень увлек

Этот кусок текста на видео, кстати мой

Вот некоторые наблюдения по использованию:

— Лучше закидывать не более 8 строк за раз, если больше то нейросеть часто галюционирует или делает долгое вступление
— Точки и запятые в конце строчки ставить не нужно
— Упомянания артистов не работает, только стиль и жанр музыку — можно их смешивать
— Если трек прервался на каком-то слове и хочется продлить, то нужно следующую генерацию начинать с той строчки, которая была крайней
— Можно обозначать, где припер (Chorus) и куплет (Verse 1).
— И работают еще дополнительные выкрики — «ааа», «еее», «йоу» между слов или в конце строчки или если протянуть слоооовоооо, то в результате этот «протяг» тоже будет в песне
— Если сделать после 4 строк текста пробел, то может получиться неожиданный музыкальный переход

Вот ссылка на нейросеть — https://www.suno.ai/
Дают пробные 25 генераций. А мне и платного тарифа не хватило, так как очень увлекает

В комментах еще варианты этого куплета

Нравятся эти оптические иллюзии. Делается в Stable Diffusion + Controlnet. Попробовать можно тут — https://huggingface.co/spaces/AP123/IllusionDiffusion

В Input Illusion закидываем свой чб шаблон
В Prompt пишем, что хотите свизуализировать

В Midjourney такое тоже получается, но не всегда предсказуемо

Кидайте пжлст результаты в комментарии

Тут неожиданно вырвался вперед вариант «Как создавать контент с помощью ИИ», хотя и «Как генерировать видео» так же входит в создание контента, да и кейсы применения в жизни и работе тоже интересны людям. Лады, я вас услушал👌

Мы все еще рано

Все больше появляется моделей генерации видео из текста или из изображений. По сути, у большинства внутри одна и та же технология с некоторыми доработками.
Прорыв будет, когда я, как пользователь, смогу влиять на происходящее в кадре точечно, как это происходит в controlnet при генерации изображений, или когда я могу делать аутпентинг/инпентинг внутри кадра

Точнее даже так: уже есть разрозненные технологии от разных умных разработчиков, где одна может делать аутпентинг видео, то есть его расширять в разные стороны, а другая технология позволяет влиять на движение объекта в кадре, чтобы листики двигались или белье на веревке колотилось на ветру в нужную мне сторону

Конечно же, сейчас в разных ИИ лабораториях мира собирают все это в одно, используя все доступные технологии. А большинство технологических открытий в сфере ИИ сейчас открыты и доступны всем. Таким "мозгам" нужен свой Джобс, чтобы тот упаковал все это в удобный пользовательский интерфейс и продал

Пока советую обуздывать то, что доступно сейчас, чтобы дальше быть впереди тех, кто считает, что текущие результаты в генерации видео - полная лажа

Реально трехмерный интернет или будущее онлайн торговли?

Пофантазируем:
В магазине установлены видеодатчики и каждое утро они сканируют витрины, и люди надев свои очки виртуальной или дополненной реальности, могут «сходить» за покупками в магазин максимально приближенный к реальному

Или в браузере, заходите на маркетплейс, а там вы перемещаетесь по виртуальному пространству и можете рассматривать товары с разных сторон

А вообще, уже сегодня эту технологию можно предлагать любому офлайн бизнесу, который продает товар или у которого есть офисы, куда приходят клиенты. Встраивать на сайт и улучшать пользовательский опыт и впечатление от взаимедействия с компанией. В комментариях еще есть примеры.

Все что для этого нужно — телефон и сервис LumaAI

Технология с бешеным творческим и бизнесовым потенциалом

В дополнение к посту про LumaAI, это еще одно приложение от них, называется «Пролёты» — https://lumalabs.ai/flythroughs

Где можно задействовать:
В видео контенте, в нише недвижимости, в офлайн бизнесах

Это моя цифровая копия.

Справедливости ради, скажу что, в этом видео я записывал только голос.

Моя цифровой копия «разоблачила» роботов

А если по серьезке, то в комментах к этому видео спрашивают — «а зачем?»

А чтобы кино снимать со спецэффектами. Не роботами едины же, загружать можно любые свои модельки созданные в blander.
Или диалоговые рилсы снимать в одного, если в разных кадрах))
Ну короче, творческого применения уйма

https://ddinstagram.com/reel/CyOrA8XPLxz/?igshid=MzRlODBiNWFlZA==

Короткометражка по залету

GEN:48 - это конкурс короткометражных фильмов, где дается 48 часов на создание идеи и реализацию 1-4-минутного фильма с помощью нейросети

Тему они пришлют 21 октября всем кто зарегистрируется

Конечно же я залетаю с двух ног и готов применить все свои фишечки в создании нейрокиношки. Там заявлены денежные призы но для меня это чистое творчество, особенно когда знаешь как работать с инструментами)))

Вам как вообще эта тема? Хотите научиться?

Подглядите, как я буду создавать кино за 48 часов с помощью ИИ

Первое, что я сделаю — конечно же придумаю серию промтов для анализа вводной информации, которую я загружу в ChatGPT4 и мы с ним в ходе диалога придумаем драфт будущей истории

Вот мой примерный план на эти 48 часов:

— Концепция. Идея. Задача.
— Сценарий. Сюжет. Драматургия
— Предпродакшен (мудборд, раскадровка сцен)
— Продакшен (генерация ключевых кадров, генерация озвучки диалогов)
— Постпродакшен (монтаж, эффекты, саунддизайн)

На всех этапах буду использовать инструменты искусственного интеллекта

😁Когда попросил сhatgpt4 добавь креатива, неожиданностей, неочевидности и странности

Upd — в комментах добавил визуализацию концепции такого мира, то как ее понимает DALLE 3

Промпт первого уровня для генерации концепций, который я использовал:

«Выступи в роли сценариста, который пишет сценарии для короткометражного кино. Я предоставлю тебе вводную информацию, а ты основываясь на ней придумаешь мне концепцию и идею будущего короткометражного кино. В описании концепции должны присутствовать по одному элементу из каждой категории и являться частью сюжетной линии, но сюжет не должен строиться вокруг выбранных элементов, то есть, они не должны играть ключевую роль в сюжете, а быть как второстепенные детали в сюжете. Сюжет должен быть оригинальным и не зависимым от выбранных элементов.

У нас есть 3 категории элементов, которые как я написал ранее должны присутствовать в концепции/идее будущего короткометражного кино, но не быть главной деталью сюжета:

(Перечисление категорий и элементов)

Нужно перемножить варианты, то есть содержимое этих 3 категорий перемножить между собой и собирать концепции как конструктор и предложить короткое описание будущего короткометражного кино. Описание должно быть осмысленным и иметь четкую смысловую нагрузку, философский вывод и неожиданный/не предсказуемый сюжет»

Сейчас я на «сценарий, сюжет, драматургия». И параллельно занимаюсь «предпродакшеном»

Как только перейду на этап продакшена, где начну генерировать сцены — расскажу про промпт 2 уровня, который разворачивает концепцию в «сценарий, сюжет, драматургию»

Доработал промпт первого уровня

Опытным путем выяснил, что он выдает результат структурней, чем прошлый и лучше подходит для дальнейшего разворачивания концепции в «сценарий, сюжет, драматургия»

А на видео рассказал про режим в chatgpt «abvanced data analysis”

Кто не понимает, что тут происходит — вот пост с началом процесса создания кино с помощью ИИ

Эта движуха все нарастает. У меня есть ощущение, что я не успеваю и слишком заморочился над деталями на этапах концепции и сюжета

Успею ли я? Ставьте 🌭 если думаете, что да