Библиотека собеса по Data Science | вопросы с собеседований

👉 Почему в задачах с имбалансом классов часто возникает проблема маскировки (masking) при обучении, и как с ней бороться

Маскировка — ситуация, когда модель «игнорирует» редкий класс из-за его малого веса в общей выборке и концентрируется на частом классе, что приводит к плохому распознаванию редких событий.

Почему возникает:
➡️ Стандартные функции потерь (например, cross-entropy) суммируют ошибки по всем объектам без учёта дисбаланса. Большой класс «перекрывает» вклад маленького, и градиенты, связанные с редким классом, оказываются незначительными.

➡️ При классическом обучении модель «ленится» выделять сложные и редкие паттерны, так как проще минимизировать ошибку на доминирующем классе.

Как бороться:
➡️ Взвешивание классов — увеличить вес ошибки на редком классе в функции потерь.
➡️ Использование специализированных функций потерь, например, focal loss, которая уменьшает вклад легко классифицируемых объектов и фокусируется на трудных.
➡️ Семплирование: oversampling редких классов или undersampling частых, чтобы выровнять распределение.
➡️ Генерация синтетических данных (SMOTE, ADASYN) для редких классов.
➡️ Использование ансамблей, где отдельные модели могут специализироваться на редких классах.

Библиотека собеса по Data Science

Please open Telegram to view this post

VIEW IN TELEGRAM

❤2

www.tgoop.com/ds_interview_lib/1066

696 viewsJul 13 at 18:02

👉 Почему в задачах с имбалансом классов часто возникает проблема маскировки (masking) при обучении, и как с ней бороться

Маскировка — ситуация, когда модель «игнорирует» редкий класс из-за его малого веса в общей выборке и концентрируется на частом классе, что приводит к плохому распознаванию редких событий.

Почему возникает:
➡️ Стандартные функции потерь (например, cross-entropy) суммируют ошибки по всем объектам без учёта дисбаланса. Большой класс «перекрывает» вклад маленького, и градиенты, связанные с редким классом, оказываются незначительными.

➡️ При классическом обучении модель «ленится» выделять сложные и редкие паттерны, так как проще минимизировать ошибку на доминирующем классе.

Как бороться:
➡️ Взвешивание классов — увеличить вес ошибки на редком классе в функции потерь.
➡️ Использование специализированных функций потерь, например, focal loss, которая уменьшает вклад легко классифицируемых объектов и фокусируется на трудных.
➡️ Семплирование: oversampling редких классов или undersampling частых, чтобы выровнять распределение.
➡️ Генерация синтетических данных (SMOTE, ADASYN) для редких классов.
➡️ Использование ансамблей, где отдельные модели могут специализироваться на редких классах.

Библиотека собеса по Data Science