DSPROGLIB Telegram 6926
This media is not supported in your browser
VIEW IN TELEGRAM
🔎 KL Divergence ≠ Distance Metric

Все слышали про KL Divergence, но не все задумывались — почему дивергенция, а не расстояние?

Чтобы мера считалась distance, она должна быть:
неотрицательной
симметричной
равной нулю, если P = Q
и соблюдать неравенство треугольника

Но KL Divergence: 🚫 несимметрична — Dₖₗ(P∥Q) ≠ Dₖₗ(Q∥P), поэтому это не метрика.

💡 Тогда почему дивергенция

Потому что она показывает, насколько одно распределение отклоняется от другого, а не насколько далеко в метрическом смысле.

Или проще: KL Divergence — это мера информационной разницы, а не физического расстояния.

📊 Визуализация отлично показывает её асимметрию — и почему при работе с распределениями важно, в каком порядке их подставлять.

🐸 Библиотека дата-сайентиста

#буст
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🔥1



tgoop.com/dsproglib/6926
Create:
Last Update:

🔎 KL Divergence ≠ Distance Metric

Все слышали про KL Divergence, но не все задумывались — почему дивергенция, а не расстояние?

Чтобы мера считалась distance, она должна быть:
неотрицательной
симметричной
равной нулю, если P = Q
и соблюдать неравенство треугольника

Но KL Divergence: 🚫 несимметрична — Dₖₗ(P∥Q) ≠ Dₖₗ(Q∥P), поэтому это не метрика.

💡 Тогда почему дивергенция

Потому что она показывает, насколько одно распределение отклоняется от другого, а не насколько далеко в метрическом смысле.

Или проще: KL Divergence — это мера информационной разницы, а не физического расстояния.

📊 Визуализация отлично показывает её асимметрию — и почему при работе с распределениями важно, в каком порядке их подставлять.

🐸 Библиотека дата-сайентиста

#буст

BY Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение


Share with your friend now:
tgoop.com/dsproglib/6926

View MORE
Open in Telegram


Telegram News

Date: |

End-to-end encryption is an important feature in messaging, as it's the first step in protecting users from surveillance. Add up to 50 administrators On Tuesday, some local media outlets included Sing Tao Daily cited sources as saying the Hong Kong government was considering restricting access to Telegram. Privacy Commissioner for Personal Data Ada Chung told to the Legislative Council on Monday that government officials, police and lawmakers remain the targets of “doxxing” despite a privacy law amendment last year that criminalised the malicious disclosure of personal information. To view your bio, click the Menu icon and select “View channel info.” You can invite up to 200 people from your contacts to join your channel as the next step. Select the users you want to add and click “Invite.” You can skip this step altogether.
from us


Telegram Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
FROM American