tgoop.com/asisakov_channel/998
Last Update:
Откуда у нас такие хорошие метрики - мы просто правильно их считаем
Сегодня после одного из обсуждений зацепился за мысль с предыдущего поста о том, как бы в не начать обманывать самого себя с неправильными метриками. Вроде бы и не разлетаемся по WAPE, но вот в некоторых категориях настолько сильно разлетающийся прогноз, что большинство товара потом летит в списания. Идея же по сути не в том, чтобы как-то делать виноватым прогноз в правильности предсказаний.
Скорее про отсмотр правильных разрезов для правильных выводов
Допустим, команда прогнозирования спроса на своих дэшах видит MAPE порядка 5%, что ну супер круто в реалиях ритейла.
А по каким разрезам эта метрика считается?
1. Давайте проверив наличие товаров с нулевыми продажами. Ведь их тоже надо предсказать и при этом убедиться, что продаж не было не по причине отсутствия товара на полке. Иначе это уже упущенная выгода
2. Есть ли учет выбросов с разными промо и аномалиями, потому что они реально влияют на общую картину. Тут кстати еще важно понимать, что восстановленный спрос может отличаться от факта
На дэше Лев Толстой, а в реале …
Ну или если считаем конверсию в новую фичу - допустим, продуктовая команда запускает новую фичу в мобильном приложении и мы видим рост конверсии на 40%. Кейс на 4 плюса очевидно.
Что может пойти не так? Что, если это навязчивый полноэкранный поп-ап, предлагающий оценить приложение и он вылазит при каждом входе. Но это не так страшно, как считать вовлечённость в виде любого взаимодействия с поп-апом (даже нажатие кнопки закрыть)
Ну вы поняли
Ну и конечно не забываем следить за другими метриками, чтобы с ростом новых юзеров не упал ретеншен.
Я не думаю, что это делается со злым умыслом. Причины обычно глубже:
Что делать?
Так что в следующий раз, когда увидите подозрительно идеальный дашборд, просто спросите как люди считали😹
#softskills #metrics