Анализ данных (Data analysis)

🎥 Making Flux Run Fast — оптимизация инференса PyTorch моделей

Как ускорить генерацию изображений с текстом до менее чем полсекунды? Joel Schlosser из PyTorch Core показывает, как это сделать с помощью:

- torch.compile — ускорение инференса без изменения модели
- torch.export — подготовка модели к компиляции и интеграции
- torchao — библиотека для квантования, критично важная для скорости

Эти техники не только улучшают Flux, но универсальны и легко применимы к любым трансформерным моделям.

📺 Видео — часть серии PyTorch Compiler Series, где команда делится советами, лайфхаками и внутренностями оптимизирующего стека PyTorch.

🔗 Смотреть: https://www.youtube.com/watch?v=VNYBgqGQ98E

YouTube

Making Flux Run Fast: PyTorch Compiler Series

Making Flux Run Fast
This video showcases a series of PyTorch optimizations that bring Flux text-to-image generation inference time to under half a second. torch.compile / torch.export and quantization through the torchao library are crucial players to achieving…

❤6👍1🔥1

www.tgoop.com/data_analysis_ml/3826

2.35K viewsJul 13 at 12:39

🎥 Making Flux Run Fast — оптимизация инференса PyTorch моделей

Как ускорить генерацию изображений с текстом до менее чем полсекунды? Joel Schlosser из PyTorch Core показывает, как это сделать с помощью:

- torch.compile — ускорение инференса без изменения модели
- torch.export — подготовка модели к компиляции и интеграции
- torchao — библиотека для квантования, критично важная для скорости

Эти техники не только улучшают Flux, но универсальны и легко применимы к любым трансформерным моделям.

📺 Видео — часть серии PyTorch Compiler Series, где команда делится советами, лайфхаками и внутренностями оптимизирующего стека PyTorch.

🔗 Смотреть: https://www.youtube.com/watch?v=VNYBgqGQ98E

BY Анализ данных (Data analysis)