tgoop.com/ds_interview_lib/495
Last Update:
В каких случаях лучше не использовать momentum в оптимизации?
Добавление momentum к градиентному спуску позволяет повысить его устойчивость и избегать маленьких локальных минимумов/максимумов. Однако есть случаи, когда его использование может быть нецелесообразным.
В частности, когда модель склонна к переобучению, использование momentum может ускорить этот процесс. Кроме того, на участках, где функция ошибки имеет плато (то есть изменения градиента минимальны или отсутствуют), momentum может затруднить выход из этих областей.
В каждом из этих случаев стоит рассмотреть альтернативные методы оптимизации или тщательнее настраивать гиперпараметры модели для достижения оптимального результата.
#глубокое_обучение
BY Библиотека собеса по Data Science | вопросы с собеседований
Share with your friend now:
tgoop.com/ds_interview_lib/495