DS_INTERVIEW_LIB Telegram 1177
👉 Как помогает gradient clipping на практике

Gradient clipping — это приём, который защищает обучение от взрывающихся градиентов (особенно в RNN и LSTM).

Суть: после вычисления градиентов проверяется их общий норм. Если он превышает заданный порог, вектор градиентов масштабируется вниз, чтобы уложиться в лимит.

Это позволяет:
➡️ избежать слишком больших обновлений весов,
➡️ стабилизировать обучение,
➡️ уменьшить риск расхождения оптимизации.

🐸 Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
2



tgoop.com/ds_interview_lib/1177
Create:
Last Update:

👉 Как помогает gradient clipping на практике

Gradient clipping — это приём, который защищает обучение от взрывающихся градиентов (особенно в RNN и LSTM).

Суть: после вычисления градиентов проверяется их общий норм. Если он превышает заданный порог, вектор градиентов масштабируется вниз, чтобы уложиться в лимит.

Это позволяет:
➡️ избежать слишком больших обновлений весов,
➡️ стабилизировать обучение,
➡️ уменьшить риск расхождения оптимизации.

🐸 Библиотека собеса по Data Science

BY Библиотека собеса по Data Science | вопросы с собеседований


Share with your friend now:
tgoop.com/ds_interview_lib/1177

View MORE
Open in Telegram


Telegram News

Date: |

Among the requests, the Brazilian electoral Court wanted to know if they could obtain data on the origins of malicious content posted on the platform. According to the TSE, this would enable the authorities to track false content and identify the user responsible for publishing it in the first place. “[The defendant] could not shift his criminal liability,” Hui said. As five out of seven counts were serious, Hui sentenced Ng to six years and six months in jail. Read now How to Create a Private or Public Channel on Telegram?
from us


Telegram Библиотека собеса по Data Science | вопросы с собеседований
FROM American