Data Blog

ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness

Привет, друзья! Хочу поделиться статьей, в которую я на прошлой неделе просто влюбилась, кажется.

Статья [https://arxiv.org/abs/1811.12231] показывает, что сверточные нейронные сети, обученные на ImageNet, имеют bias в сторону текстур.

Например, если взять изображение кота, но заменить его текстуру на кожу слона, то изначальный кот скорее всего станет слоном по прогнозу. Для людей же такая задача оказывается простой — мы заметим всё ещё кота, потому что будем ориентироваться на форму.

Инсайт не на миллион, но само исследование имеет красивые постановку и анализ.

Как показан bias:

При помощи style transfer, авторы создают набор данных, где объект имеет форму одного класса, но текстуру другого класса.

Результаты эксперимента:

— Люди в 95.9% случаев классифицировали объекты по форме.
— VGG-16: 82.8% решений основывались на текстуре.
— ResNet-50: 77.9% решений основывались на текстуре.
— AlexNet — использовала текстуру в 57.1% случаев (модель более формо-ортиентирована).

Как можно улучшить сеть, зная слабость с bias:

Авторы провели обучение ResNet-50 на Stylized-ImageNet (данные, в которых текстура заменена на стили живописи) и показали, что:

1. Это привело к увеличению восприимчивости в сторону формы — повышается точность классификации и детекции объектов на новых наборах данных (Pascal VOC, MS COCO).

2. Это сделало модель устойчивее к искажениям входных данных — шуму, изменениям контраста, размытию и другим атакам.

Ну безумно красиво! И видно, что:

1. Для корректного поведения системы, которая задействует модель, либо набор данных должен быть максимально сконструирован так, чтобы были выучены релевантные представления, либо входные примеры должны быть согласованы с обучением;

2. Bажно знать, какие признаки извлекает модель (привет картам активации и иным методам XAI)

Так что не забываем интерпретировать модели, получается =)
И отличного вторника, друзья!

Ваш Дата-автор!

arXiv.org

ImageNet-trained CNNs are biased towards texture; increasing shape...

Convolutional Neural Networks (CNNs) are commonly thought to recognise objects by learning increasingly complex representations of object shapes. Some recent studies suggest a more important role...

❤8🔥3👍1🤔1

www.tgoop.com/jdata_blog/386

1.03K viewsMar 18 at 15:22

ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness

Привет, друзья! Хочу поделиться статьей, в которую я на прошлой неделе просто влюбилась, кажется.

Статья [https://arxiv.org/abs/1811.12231] показывает, что сверточные нейронные сети, обученные на ImageNet, имеют bias в сторону текстур.

Например, если взять изображение кота, но заменить его текстуру на кожу слона, то изначальный кот скорее всего станет слоном по прогнозу. Для людей же такая задача оказывается простой — мы заметим всё ещё кота, потому что будем ориентироваться на форму.

Инсайт не на миллион, но само исследование имеет красивые постановку и анализ.

Как показан bias:

При помощи style transfer, авторы создают набор данных, где объект имеет форму одного класса, но текстуру другого класса.

Результаты эксперимента:

— Люди в 95.9% случаев классифицировали объекты по форме.
— VGG-16: 82.8% решений основывались на текстуре.
— ResNet-50: 77.9% решений основывались на текстуре.
— AlexNet — использовала текстуру в 57.1% случаев (модель более формо-ортиентирована).

Как можно улучшить сеть, зная слабость с bias:

Авторы провели обучение ResNet-50 на Stylized-ImageNet (данные, в которых текстура заменена на стили живописи) и показали, что:

1. Это привело к увеличению восприимчивости в сторону формы — повышается точность классификации и детекции объектов на новых наборах данных (Pascal VOC, MS COCO).

2. Это сделало модель устойчивее к искажениям входных данных — шуму, изменениям контраста, размытию и другим атакам.

Ну безумно красиво! И видно, что:

1. Для корректного поведения системы, которая задействует модель, либо набор данных должен быть максимально сконструирован так, чтобы были выучены релевантные представления, либо входные примеры должны быть согласованы с обучением;

2. Bажно знать, какие признаки извлекает модель (привет картам активации и иным методам XAI)

Так что не забываем интерпретировать модели, получается =)
И отличного вторника, друзья!

Ваш Дата-автор!

BY Data Blog