asisakov

MAPE, SMAPE, WAPE, WMAPE

Допустим, нам надо сравнить наши модели прогнозирования спроса. Смотрим на графички, и вроде везде все красиво, понятно, вроде близки по профилям. Если подумать о метриках, то первым делом приходят в голову MAE и MAPE, при этом MAPE предпочтительней в случаях сильно различающихся абсолютов.

Но бывают моменты, когда у нас адекватный MAE и улетающий MAPE

Го разбираться:

1️⃣MAPE (Mean Absolute Percentage Error) - средняя абсолютная процентная ошибка. По сути для каждого наблюдения берем модуль разницы ABS(Факт - Прогноз), делим на Факт, и усредняем по всем точкам. Ну и не забываем, что коллегам всегда понятно выражение "в среднем мы ошибаемся на 12%".

Проблемы начинаются в окрестностях нуля (допустим, было 0-1-2 транзакций, когда в среднем под 1000). Исключим очевидные моменты с делением на ноль, но при этом все же имеем неприятный момент с околонулевым знаменателем. Типа поделили (1000-1) на 1, и получили 99900% ошибки.

Кайф? Не особо

Ну и не забываем про несимметричность метрики - в кейсе с 1 вниз мы улетим максимум на 100%, ну а вверх неограничены.

2️⃣SMAPE (Symmetric Mean Absolute Percentage Error) - симметричная средняя абсолютная процентная ошибка. Здесь тот же мейп, но с немного другим знаменателем. ABS(Факт - Прогноз) / ((Фактом + Прогноз) / 2)

Здесь мы примерно стараемся избежать маленького знаменателя, но конечно же в некоторых кейсах деление на маленькие числа неизбежны. При этом имеем значение метрики от 0% до 200%, что решает проблему бесконечной ошибки MAPE.

Кстати, можете попробовать на обычных примерах оценить реальную симметричность метрики - можно заметить склонность сильнее штрафовать за занижение прогноза. Ну и стоит ли бизнесу говорить о симметричном MAPE?

Наверно не стоит

3️⃣WAPE (Weighted Absolute Percentage Error) - взвешенная абсолютная процентная ошибка. Тут все просто - суммируем все абсолютные ошибки ABS(Факт - Прогноз) и делим эту сумму на сумму факта, неявно взвешивая ошибку каждого товара по его объему продаж. Типа число транзакций около единицы уже не так сильно повлияют на итоговую метрику.

Понятно бизнесу, нет деления на ноль и вообще все четко. Но при высокой точности по WAPE мы можем топово предсказывать крупные категории и полностью промахиваться по остальным сегментам.

4️⃣WMAPE (Weighted Mean Absolute Percentage Error) - взвешенный MAPE (не путаем с WAPE). WMAPE - это среднее значение MAPE, где ошибка для каждого товара взвешивается по его важности (например, по доле в продажах). Для каждого товара считаем его MAPE. Затем умножаем MAPE каждого товара на его вес (например, долю в обороте) и суммируем. Sum(prop_i * MAPE_i).

На тотале мы уже не уидим таких разлетов, но по конкретным категориям все же деление на околонулевые значения будет накладывать свой эффект.

Что в итоге?

Я думаю, вы отсюда уже поняли, что не существует одной идеальной метрики, и лучше всего смотреть их комбинации или разные разрезы для того, чтобы принимать правильные стратегические решения. Выбирайте метрики с чувством, толком и расстановкой, ну и пусть наши прогнозы всегда будут точными.

Дополнительное чтиво: 1, 2, 3

#metrics

Please open Telegram to view this post

VIEW IN TELEGRAM

❤12👍8🔥6

www.tgoop.com/asisakov_channel/995

1.65K viewsSep 9 at 18:14

MAPE, SMAPE, WAPE, WMAPE

Допустим, нам надо сравнить наши модели прогнозирования спроса. Смотрим на графички, и вроде везде все красиво, понятно, вроде близки по профилям. Если подумать о метриках, то первым делом приходят в голову MAE и MAPE, при этом MAPE предпочтительней в случаях сильно различающихся абсолютов.

Но бывают моменты, когда у нас адекватный MAE и улетающий MAPE

Го разбираться:

1️⃣MAPE (Mean Absolute Percentage Error) - средняя абсолютная процентная ошибка. По сути для каждого наблюдения берем модуль разницы ABS(Факт - Прогноз), делим на Факт, и усредняем по всем точкам. Ну и не забываем, что коллегам всегда понятно выражение "в среднем мы ошибаемся на 12%".

Проблемы начинаются в окрестностях нуля (допустим, было 0-1-2 транзакций, когда в среднем под 1000). Исключим очевидные моменты с делением на ноль, но при этом все же имеем неприятный момент с околонулевым знаменателем. Типа поделили (1000-1) на 1, и получили 99900% ошибки.

Кайф? Не особо

Ну и не забываем про несимметричность метрики - в кейсе с 1 вниз мы улетим максимум на 100%, ну а вверх неограничены.

2️⃣SMAPE (Symmetric Mean Absolute Percentage Error) - симметричная средняя абсолютная процентная ошибка. Здесь тот же мейп, но с немного другим знаменателем. ABS(Факт - Прогноз) / ((Фактом + Прогноз) / 2)

Здесь мы примерно стараемся избежать маленького знаменателя, но конечно же в некоторых кейсах деление на маленькие числа неизбежны. При этом имеем значение метрики от 0% до 200%, что решает проблему бесконечной ошибки MAPE.

Кстати, можете попробовать на обычных примерах оценить реальную симметричность метрики - можно заметить склонность сильнее штрафовать за занижение прогноза. Ну и стоит ли бизнесу говорить о симметричном MAPE?

Наверно не стоит

3️⃣WAPE (Weighted Absolute Percentage Error) - взвешенная абсолютная процентная ошибка. Тут все просто - суммируем все абсолютные ошибки ABS(Факт - Прогноз) и делим эту сумму на сумму факта, неявно взвешивая ошибку каждого товара по его объему продаж. Типа число транзакций около единицы уже не так сильно повлияют на итоговую метрику.

Понятно бизнесу, нет деления на ноль и вообще все четко. Но при высокой точности по WAPE мы можем топово предсказывать крупные категории и полностью промахиваться по остальным сегментам.

4️⃣WMAPE (Weighted Mean Absolute Percentage Error) - взвешенный MAPE (не путаем с WAPE). WMAPE - это среднее значение MAPE, где ошибка для каждого товара взвешивается по его важности (например, по доле в продажах). Для каждого товара считаем его MAPE. Затем умножаем MAPE каждого товара на его вес (например, долю в обороте) и суммируем. Sum(prop_i * MAPE_i).

На тотале мы уже не уидим таких разлетов, но по конкретным категориям все же деление на околонулевые значения будет накладывать свой эффект.

Что в итоге?

Я думаю, вы отсюда уже поняли, что не существует одной идеальной метрики, и лучше всего смотреть их комбинации или разные разрезы для того, чтобы принимать правильные стратегические решения. Выбирайте метрики с чувством, толком и расстановкой, ну и пусть наши прогнозы всегда будут точными.

Дополнительное чтиво: 1, 2, 3

#metrics