PYTHONL Telegram 4402
πŸ”₯ Yoooo Tencent Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ‡Ρ‚ΠΎ выпустила Π½ΠΎΠ²ΡƒΡŽ модСль Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ Π²ΠΈΠ΄Π΅ΠΎ с ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌ исходным ΠΊΠΎΠ΄ΠΎΠΌ, ΠΈ ΠΎΠ½Π° выглядит довольно интСрСсно!

МодСль (img2videos) ΠΌΠΎΠΆΠ΅Ρ‚ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π²ΠΈΠ΄Π΅ΠΎ Π»ΡƒΡ‡ΡˆΠ΅, Ρ‡Π΅ΠΌ Gen 3 ΠΈ Luma, ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ Π°Π½ΠΈΠΌΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ говорящиС Π°Π²Π°Ρ‚Π°Ρ€Ρ‹, Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ динамичСскиС сцСны.

⚑️ HunyuanVideo: ΠΌΠΎΠ΄Π΅Π»ΠΈ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ Π²ΠΈΠ΄Π΅ΠΎ ΠΏΠΎ тСксту ΠΎΡ‚ Tencent.

Tencent ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π»Π° Π² ΠΎΡ‚Ρ€Ρ‹Ρ‚Ρ‹ΠΉ доступ ΠΌΠΎΠ΄Π΅Π»ΠΈ с 13 ΠΌΠ»Ρ€Π΄. ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ Π²ΠΈΠ΄Π΅ΠΎ ΠΏΠΎ тСкстовым ΠΏΡ€ΠΎΠΌΠΏΡ‚Π°ΠΌ: HunyuanVideo ΠΈ HunyuanVideo-PromptRewrite.

АрхитСктура HunyuanVideo простроСна Π½Π° пространствСнно-Π²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠΌ сТатии, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ позволяСт ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ Π²ΠΈΠ΄Π΅ΠΎ ΠΈ изобраТСния Π² Π΅Π΄ΠΈΠ½ΠΎΠΌ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅.

Π’Ρ…ΠΎΠ΄Π½Ρ‹Π΅ тСкстовыС запросы ΠΊΠΎΠ΄ΠΈΡ€ΡƒΡŽΡ‚ΡΡ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ MLLM (комбинация CLIP and T5-XXL) ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ΡΡ Π² качСствС основы для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ. МодСль Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΠ΅Ρ‚ Π»Π°Ρ‚Π΅Π½Ρ‚, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π·Π°Ρ‚Π΅ΠΌ дСкодируСтся Π² изобраТСния ΠΈΠ»ΠΈ Π²ΠΈΠ΄Π΅ΠΎ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ 3D VAE.

HunyuanVideo-PromptRewrite - ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹ΠΉ Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½ для Π°Π΄Π°ΠΏΡ‚Π°Ρ†ΠΈΠΈ ΠΈ автоматичСского Ρ€Π°ΡΡˆΠΈΡ€Π΅Π½ΠΈΡ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΡ… ΠΏΡ€ΠΎΠΌΠΏΡ‚ΠΎΠ² ΠΊ прСдпочтСниям ΠΌΠΎΠ΄Π΅Π»ΠΈ. Π’ PromptRewrite 2 Ρ€Π΅ΠΆΠΈΠΌΠ° Ρ€Π°Π±ΠΎΡ‚Ρ‹: Normal ΠΈ Master:

🟒РСТим Normal ΡƒΠ»ΡƒΡ‡ΡˆΠ°Π΅Ρ‚ ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΠ΅ модСлью Π½Π°ΠΌΠ΅Ρ€Π΅Π½ΠΈΠΉ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ, способствуя Π±ΠΎΠ»Π΅Π΅ Ρ‚ΠΎΡ‡Π½ΠΎΠΉ ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚Π°Ρ†ΠΈΠΈ ΠΏΡ€ΠΎΠΌΠΏΡ‚Π°.

🟒РСТим Master ΡƒΠ»ΡƒΡ‡ΡˆΠ°Π΅Ρ‚ описаниС ΠΊΠΎΠΌΠΏΠΎΠ·ΠΈΡ†ΠΈΠΈ, освСщСния сцСны Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΈ двиТСния ΠΊΠ°ΠΌΠ΅Ρ€Ρ‹, Ρ‡Ρ‚ΠΎ Π½Π° Π²Ρ‹Ρ…ΠΎΠ΄Π΅ Π΄Π°Π΅Ρ‚ Π²ΠΈΠ΄Π΅ΠΎ с Π±ΠΎΠ»Π΅Π΅ высоким Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½Ρ‹ΠΌ качСством.

HunyuanVideo ΠΎΡ†Π΅Π½ΠΈΠ²Π°Π»Π°ΡΡŒ 60 экспСртами Π½Π° 1533 ΠΏΡ€ΠΎΠΌΠΏΡ‚Π°Ρ… Π² сравнСнии с Ρ‚ΠΎΠΏΠΎΠ²Ρ‹ΠΌΠΈ T2V-модСлями: Gen-3, Luma 1.6 ΠΈ трСмя Π»ΡƒΡ‡ΡˆΠΈΠΌΠΈ китайскими коммСрчСскими модСлями.

Π Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ ΠΎΡ†Π΅Π½ΠΊΠΈ ΠΏΠΎΠΊΠ°Π·Π°Π»ΠΈ, Ρ‡Ρ‚ΠΎ HunyuanVideo достигаСт ΠΎΠ±Ρ‰Π΅Π³ΠΎ уровня удовлСтворСнности, особСнно Π²Ρ‹Π΄Π΅Π»ΡΡΡΡŒ качСством двиТСния ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ².

β–ΆοΈΠŸΠ»Π°Π½Ρ‹ развития HunyuanVideo:

πŸŸ Π‘Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊ Penguin Video;
🟠Web Demo (Gradio);
πŸŸ ΠŸΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠ° ComfyUI;
πŸŸ ΠŸΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠ° Diffusers;
🟠МодСль ΠΈ ΠΊΠΎΠ΄ инфСрСнса Image-to-Video вСрсии.

⚠️ ΠœΠΈΠ½ΠΈΠΌΠ°Π»ΡŒΠ½Ρ‹ΠΉ объСм GPU - 60 GB для 720pX1280pX129f ΠΈ 45 GB для 544pX960pX129f. Π Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΠΎΠ²Π°Π½Π½Ρ‹ΠΉ GPU - 80 GB.

▢️Установка ΠΈ инфСрСнс T2V Π² 720Ρ€:

# Clone repo:
git clone https://github.com/tencent/HunyuanVideo
cd HunyuanVideo

# Prepare conda environment
conda env create -f environment.yml
conda activate HunyuanVideo

# Install pip dependencies
python -m pip install -r requirements.txt

# Install flash attention v2
python -m pip install git+https://github.com/Dao-AILab/[email protected]

# Inference
python3 sample_video.py \
--video-size 720 \
--video-length 129 \
--infer-steps 50 \
--prompt "%prompt%" \
--flow-reverse \
--use-cpu-offload \
--save-path ./results


πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: Tencent Hunyuan Community License.

πŸ“½οΈ Project http://aivideo.hunyuan.tencent.com
πŸ§‘β€πŸ’» Github: http://git.new/hyvideo
πŸ“ƒ Paper: http://thursdai.news/hypaper
πŸ‹οΈ Weights on HF: http://thursdai.news/hyv-weights https://pic.x.com/qIib0wdkzy
πŸ€— Hf: https://huggingface.co/tencent/HunyuanVideo-PromptRewrite

@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
πŸ‘16πŸ”₯6❀5😁3



tgoop.com/pythonl/4402
Create:
Last Update:

πŸ”₯ Yoooo Tencent Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Ρ‡Ρ‚ΠΎ выпустила Π½ΠΎΠ²ΡƒΡŽ модСль Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ Π²ΠΈΠ΄Π΅ΠΎ с ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΌ исходным ΠΊΠΎΠ΄ΠΎΠΌ, ΠΈ ΠΎΠ½Π° выглядит довольно интСрСсно!

МодСль (img2videos) ΠΌΠΎΠΆΠ΅Ρ‚ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π²ΠΈΠ΄Π΅ΠΎ Π»ΡƒΡ‡ΡˆΠ΅, Ρ‡Π΅ΠΌ Gen 3 ΠΈ Luma, ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ Π°Π½ΠΈΠΌΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ говорящиС Π°Π²Π°Ρ‚Π°Ρ€Ρ‹, Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ динамичСскиС сцСны.

⚑️ HunyuanVideo: ΠΌΠΎΠ΄Π΅Π»ΠΈ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ Π²ΠΈΠ΄Π΅ΠΎ ΠΏΠΎ тСксту ΠΎΡ‚ Tencent.

Tencent ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π»Π° Π² ΠΎΡ‚Ρ€Ρ‹Ρ‚Ρ‹ΠΉ доступ ΠΌΠΎΠ΄Π΅Π»ΠΈ с 13 ΠΌΠ»Ρ€Π΄. ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ Π²ΠΈΠ΄Π΅ΠΎ ΠΏΠΎ тСкстовым ΠΏΡ€ΠΎΠΌΠΏΡ‚Π°ΠΌ: HunyuanVideo ΠΈ HunyuanVideo-PromptRewrite.

АрхитСктура HunyuanVideo простроСна Π½Π° пространствСнно-Π²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎΠΌ сТатии, ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ΅ позволяСт ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ Π²ΠΈΠ΄Π΅ΠΎ ΠΈ изобраТСния Π² Π΅Π΄ΠΈΠ½ΠΎΠΌ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π΅.

Π’Ρ…ΠΎΠ΄Π½Ρ‹Π΅ тСкстовыС запросы ΠΊΠΎΠ΄ΠΈΡ€ΡƒΡŽΡ‚ΡΡ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ MLLM (комбинация CLIP and T5-XXL) ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ΡΡ Π² качСствС основы для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ. МодСль Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΠ΅Ρ‚ Π»Π°Ρ‚Π΅Π½Ρ‚, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π·Π°Ρ‚Π΅ΠΌ дСкодируСтся Π² изобраТСния ΠΈΠ»ΠΈ Π²ΠΈΠ΄Π΅ΠΎ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ 3D VAE.

HunyuanVideo-PromptRewrite - ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½Ρ‹ΠΉ Ρ„Π°ΠΉΠ½Ρ‚ΡŽΠ½ для Π°Π΄Π°ΠΏΡ‚Π°Ρ†ΠΈΠΈ ΠΈ автоматичСского Ρ€Π°ΡΡˆΠΈΡ€Π΅Π½ΠΈΡ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΡ… ΠΏΡ€ΠΎΠΌΠΏΡ‚ΠΎΠ² ΠΊ прСдпочтСниям ΠΌΠΎΠ΄Π΅Π»ΠΈ. Π’ PromptRewrite 2 Ρ€Π΅ΠΆΠΈΠΌΠ° Ρ€Π°Π±ΠΎΡ‚Ρ‹: Normal ΠΈ Master:

🟒РСТим Normal ΡƒΠ»ΡƒΡ‡ΡˆΠ°Π΅Ρ‚ ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΠ΅ модСлью Π½Π°ΠΌΠ΅Ρ€Π΅Π½ΠΈΠΉ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ, способствуя Π±ΠΎΠ»Π΅Π΅ Ρ‚ΠΎΡ‡Π½ΠΎΠΉ ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚Π°Ρ†ΠΈΠΈ ΠΏΡ€ΠΎΠΌΠΏΡ‚Π°.

🟒РСТим Master ΡƒΠ»ΡƒΡ‡ΡˆΠ°Π΅Ρ‚ описаниС ΠΊΠΎΠΌΠΏΠΎΠ·ΠΈΡ†ΠΈΠΈ, освСщСния сцСны Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ ΠΈ двиТСния ΠΊΠ°ΠΌΠ΅Ρ€Ρ‹, Ρ‡Ρ‚ΠΎ Π½Π° Π²Ρ‹Ρ…ΠΎΠ΄Π΅ Π΄Π°Π΅Ρ‚ Π²ΠΈΠ΄Π΅ΠΎ с Π±ΠΎΠ»Π΅Π΅ высоким Π²ΠΈΠ·ΡƒΠ°Π»ΡŒΠ½Ρ‹ΠΌ качСством.

HunyuanVideo ΠΎΡ†Π΅Π½ΠΈΠ²Π°Π»Π°ΡΡŒ 60 экспСртами Π½Π° 1533 ΠΏΡ€ΠΎΠΌΠΏΡ‚Π°Ρ… Π² сравнСнии с Ρ‚ΠΎΠΏΠΎΠ²Ρ‹ΠΌΠΈ T2V-модСлями: Gen-3, Luma 1.6 ΠΈ трСмя Π»ΡƒΡ‡ΡˆΠΈΠΌΠΈ китайскими коммСрчСскими модСлями.

Π Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ ΠΎΡ†Π΅Π½ΠΊΠΈ ΠΏΠΎΠΊΠ°Π·Π°Π»ΠΈ, Ρ‡Ρ‚ΠΎ HunyuanVideo достигаСт ΠΎΠ±Ρ‰Π΅Π³ΠΎ уровня удовлСтворСнности, особСнно Π²Ρ‹Π΄Π΅Π»ΡΡΡΡŒ качСством двиТСния ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ².

β–ΆοΈΠŸΠ»Π°Π½Ρ‹ развития HunyuanVideo:

πŸŸ Π‘Π΅Π½Ρ‡ΠΌΠ°Ρ€ΠΊ Penguin Video;
🟠Web Demo (Gradio);
πŸŸ ΠŸΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠ° ComfyUI;
πŸŸ ΠŸΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠ° Diffusers;
🟠МодСль ΠΈ ΠΊΠΎΠ΄ инфСрСнса Image-to-Video вСрсии.

⚠️ ΠœΠΈΠ½ΠΈΠΌΠ°Π»ΡŒΠ½Ρ‹ΠΉ объСм GPU - 60 GB для 720pX1280pX129f ΠΈ 45 GB для 544pX960pX129f. Π Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΠΎΠ²Π°Π½Π½Ρ‹ΠΉ GPU - 80 GB.

▢️Установка ΠΈ инфСрСнс T2V Π² 720Ρ€:

# Clone repo:
git clone https://github.com/tencent/HunyuanVideo
cd HunyuanVideo

# Prepare conda environment
conda env create -f environment.yml
conda activate HunyuanVideo

# Install pip dependencies
python -m pip install -r requirements.txt

# Install flash attention v2
python -m pip install git+https://github.com/Dao-AILab/[email protected]

# Inference
python3 sample_video.py \
--video-size 720 \
--video-length 129 \
--infer-steps 50 \
--prompt "%prompt%" \
--flow-reverse \
--use-cpu-offload \
--save-path ./results


πŸ“ŒΠ›ΠΈΡ†Π΅Π½Π·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅: Tencent Hunyuan Community License.

πŸ“½οΈ Project http://aivideo.hunyuan.tencent.com
πŸ§‘β€πŸ’» Github: http://git.new/hyvideo
πŸ“ƒ Paper: http://thursdai.news/hypaper
πŸ‹οΈ Weights on HF: http://thursdai.news/hyv-weights https://pic.x.com/qIib0wdkzy
πŸ€— Hf: https://huggingface.co/tencent/HunyuanVideo-PromptRewrite

@pythonl

BY Python/ django




Share with your friend now:
tgoop.com/pythonl/4402

View MORE
Open in Telegram


Telegram News

Date: |

The administrator of a telegram group, "Suck Channel," was sentenced to six years and six months in prison for seven counts of incitement yesterday. How to Create a Private or Public Channel on Telegram? Hui said the messages, which included urging the disruption of airport operations, were attempts to incite followers to make use of poisonous, corrosive or flammable substances to vandalize police vehicles, and also called on others to make weapons to harm police. Content is editable within two days of publishing Healing through screaming therapy
from us


Telegram Python/ django
FROM American