⚙️Почему не стоит использовать Mean Squared Error (MSE) для многоклассовой классификации
Формально MSE можно применять, сравнивая логиты или вероятности с one-hot разметкой. Но на практике есть серьёзные минусы: 🚩 Слабый градиент: MSE даёт менее прямой сигнал для увеличения вероятности правильного класса и подавления остальных. 🚩 Медленная сходимость: обучение идёт дольше, так как градиенты «размазаны». 🚩 Нет явной вероятностной интерпретации: MSE не напрямую связано с максимизацией правдоподобия.
Кросс-энтропия (Cross-Entropy), напротив: 🚩 Напрямую соответствует задаче максимизации лог-правдоподобия. 🚩 Даёт более информативные градиенты. 🚩 На практике почти всегда сходится быстрее и стабильнее.
⚙️Почему не стоит использовать Mean Squared Error (MSE) для многоклассовой классификации
Формально MSE можно применять, сравнивая логиты или вероятности с one-hot разметкой. Но на практике есть серьёзные минусы: 🚩 Слабый градиент: MSE даёт менее прямой сигнал для увеличения вероятности правильного класса и подавления остальных. 🚩 Медленная сходимость: обучение идёт дольше, так как градиенты «размазаны». 🚩 Нет явной вероятностной интерпретации: MSE не напрямую связано с максимизацией правдоподобия.
Кросс-энтропия (Cross-Entropy), напротив: 🚩 Напрямую соответствует задаче максимизации лог-правдоподобия. 🚩 Даёт более информативные градиенты. 🚩 На практике почти всегда сходится быстрее и стабильнее.
"Doxxing content is forbidden on Telegram and our moderators routinely remove such content from around the world," said a spokesman for the messaging app, Remi Vaughn. Earlier, crypto enthusiasts had created a self-described “meme app” dubbed “gm” app wherein users would greet each other with “gm” or “good morning” messages. However, in September 2021, the gm app was down after a hacker reportedly gained access to the user data. On June 7, Perekopsky met with Brazilian President Jair Bolsonaro, an avid user of the platform. According to the firm's VP, the main subject of the meeting was "freedom of expression." Just as the Bitcoin turmoil continues, crypto traders have taken to Telegram to voice their feelings. Crypto investors can reduce their anxiety about losses by joining the “Bear Market Screaming Therapy Group” on Telegram. The Standard Channel
from us