tgoop.com/artificial_stupid/322
Last Update:
#interpretable_ml
PFI (permutation feature importance). Что это такое и как работает?
В PFI есть слово permuatation. Оно, собственно, и определяет, что мы будем делать. Давайте для каждого признака будем "перемешивать" значения и смотреть, насколько изменилась наша ошибка предсказаний. Получаем весьма простой модельно-агностический (независимый от реализации конкретного алгоритма обучения) метод.
Плюсы метода:
1. Легко интерпретировать - мы понимаем, насколько изменяется качество модели при "разрушении" признака;
2. Можно сравнивать результаты между разными моделями;
3. Помимо важности самого признака, мы еще автоматически учитываем и важность взаимодействий между признаками (если мы "перемешали" признак, то мы "перемешали" и все взаимодействия между признаками);
4. Нам не нужно переобучать модель. То есть, мы не тратим время и вычислительные ресурсы на новые циклы обучения.
Минусы метода:
1. Мы привязаны к определению ошибки. То есть, важность признака зависима от той метрики, ухудшение которой мы мониторим;
2. Нужно знать реальные таргеты. Если у нас только модель и неразмеченные данные - то мы не можем вычислить важность признаков;
3. Учитывая случайность перестановок, наши результаты могут меняться от запуска к запуску (причем, весьма сильно);
4. У нас может возникать смещение в наших оценках из-за нереалистичных точек данных. Например, если мы случайно пересортируем рост, но оставим вес, то может получиться точка данных с ростом 185 см и весом 10 кг (что невероятно);
5. Наличие коррелированных признаков может снижать важность группы признаков, т.к. общая "важность" может "расщепляться" между этими признаками.
В итоге, метод весьма неплохой, но со своими минусами (причем, достаточно важными минусами). Если хотите поиграть с методом, можете взять пример реализации из sklearn.
BY Artificial stupidity
Share with your friend now:
tgoop.com/artificial_stupid/322