tgoop.com/unrealneural/2143
Last Update:
#unrealneural #пытаюсьпонять
Почему последние шаги в процессе диффузии различных моделей(SD или другие) иногда ухудшают качество сгенерированных сэмплов, вместо того чтобы улучшать?
Данные сначала "упаковываются" в компактное латентное пространство меньшей размерности. В процессе генерации (обратная диффузия) качество сначала растёт: шум убирается, сэмплы становятся похожими на реальные данные.
Но на последних шагах модель начинает "перегружать" слабые или нулевые компоненты этого пространства (они не несут полезной информации из-за сжатия). В итоге добавляется лишний шум, и одна из метрика ухудшается , будто картинка "размыливается" заново.
НО это не баг, а фича сжатия: низкая размерность требует остановки пораньше, чтобы не "переусердствовать". В высоких размерностях можно дольше "диффузить"
Подробнее о математических обоснованиях этого явления и о том как с этим бороться
https://arxiv.org/abs/2510.08409
BY Лаборатория ИИ | AI LAB
Share with your friend now:
tgoop.com/unrealneural/2143