КПД

Эксперименты и результаты в статьях по современным генеративным моделям, будь то новая парадигма генерации, постановка диффузии или архитектурное новвоведение, натокнули на следующую мысль - а насколько вообще осмысленно понятие SOTA по class-conditional генерации на ImageNet-1k?

Самый низкий FID - хреновый показатель, по упомянутым неоднократно причинам.

Интуитивно хочется следующего - чтобы при подаче конкретного класса, будь то рыба 🐟, собака 🐕 или велосипед 🚲, генерировалась эта рыба, собака или велосипед без дефектов (ну и на каком-то разумном фоне). Вопрос эстетичности особо не стоит - ибо ImageNet-1k не проходил фильтрации по эстетичности и иным аспектам. А требовать генерировать от модели лучше, чем то, что она видела в данных мы обьективно не можем. Что посеешь, то и пожнешь, как говорится.

В идеале, хороший классификатор, должен распознавать генерации, как целевой класс, но добиться этого со 100% точностью нельзя из-за ошибок 😬 в разметке ImageNet и спорности самой разметки.

На мой взгляд, нельзя утверждать, что конкретная модель является лучшей по class-conditional генерации на ImageNet-1k. Можно лишь утверждать, что она решает задачу хорошо или плохо.

🤔2

www.tgoop.com/quant_prune_distill/241

1.1K viewsedited  Apr 10, 2024 at 09:22

Эксперименты и результаты в статьях по современным генеративным моделям, будь то новая парадигма генерации, постановка диффузии или архитектурное новвоведение, натокнули на следующую мысль - а насколько вообще осмысленно понятие SOTA по class-conditional генерации на ImageNet-1k?

Самый низкий FID - хреновый показатель, по упомянутым неоднократно причинам.

Интуитивно хочется следующего - чтобы при подаче конкретного класса, будь то рыба 🐟, собака 🐕 или велосипед 🚲, генерировалась эта рыба, собака или велосипед без дефектов (ну и на каком-то разумном фоне). Вопрос эстетичности особо не стоит - ибо ImageNet-1k не проходил фильтрации по эстетичности и иным аспектам. А требовать генерировать от модели лучше, чем то, что она видела в данных мы обьективно не можем. Что посеешь, то и пожнешь, как говорится.

В идеале, хороший классификатор, должен распознавать генерации, как целевой класс, но добиться этого со 100% точностью нельзя из-за ошибок 😬 в разметке ImageNet и спорности самой разметки.

На мой взгляд, нельзя утверждать, что конкретная модель является лучшей по class-conditional генерации на ImageNet-1k. Можно лишь утверждать, что она решает задачу хорошо или плохо.

BY КПД