DS_INTERVIEW_LIB Telegram 1168
Есть ли проблемы с численной стабильностью при использовании Softmax + Cross-Entropy

Да, есть:
⚠️ Переполнение: экспонента больших логитов может давать очень большие числа → floating-point overflow.
⚠️ Недополнение: логарифм очень маленьких вероятностей может привести к underflow.

Как решают:
Сдвиг логитов: вычитаем максимальный логит из всех перед экспонентой — простая и эффективная хитрость.
Комбинированные функции: большинство DL-библиотек используют log-softmax + negative log-likelihood в одном шаге, что обеспечивает стабильные градиенты даже для больших и маленьких логитов.

🐸 Библиотека собеса по Data Science
Please open Telegram to view this post
VIEW IN TELEGRAM
1



tgoop.com/ds_interview_lib/1168
Create:
Last Update:

Есть ли проблемы с численной стабильностью при использовании Softmax + Cross-Entropy

Да, есть:
⚠️ Переполнение: экспонента больших логитов может давать очень большие числа → floating-point overflow.
⚠️ Недополнение: логарифм очень маленьких вероятностей может привести к underflow.

Как решают:
Сдвиг логитов: вычитаем максимальный логит из всех перед экспонентой — простая и эффективная хитрость.
Комбинированные функции: большинство DL-библиотек используют log-softmax + negative log-likelihood в одном шаге, что обеспечивает стабильные градиенты даже для больших и маленьких логитов.

🐸 Библиотека собеса по Data Science

BY Библиотека собеса по Data Science | вопросы с собеседований


Share with your friend now:
tgoop.com/ds_interview_lib/1168

View MORE
Open in Telegram


Telegram News

Date: |

Telegram is a leading cloud-based instant messages platform. It became popular in recent years for its privacy, speed, voice and video quality, and other unmatched features over its main competitor Whatsapp. Unlimited number of subscribers per channel Select: Settings – Manage Channel – Administrators – Add administrator. From your list of subscribers, select the correct user. A new window will appear on the screen. Check the rights you’re willing to give to your administrator. 1What is Telegram Channels? On Tuesday, some local media outlets included Sing Tao Daily cited sources as saying the Hong Kong government was considering restricting access to Telegram. Privacy Commissioner for Personal Data Ada Chung told to the Legislative Council on Monday that government officials, police and lawmakers remain the targets of “doxxing” despite a privacy law amendment last year that criminalised the malicious disclosure of personal information.
from us


Telegram Библиотека собеса по Data Science | вопросы с собеседований
FROM American