MAPE, SMAPE, WAPE, WMAPE

Допустим, нам надо сравнить наши модели прогнозирования спроса. Смотрим на графички, и вроде везде все красиво, понятно, вроде близки по профилям. Если подумать о метриках, то первым делом приходят в голову MAE и MAPE, при этом MAPE предпочтительней в случаях сильно различающихся абсолютов.

Но бывают моменты, когда у нас адекватный MAE и улетающий MAPE

Го разбираться:

1️⃣MAPE (Mean Absolute Percentage Error) - средняя абсолютная процентная ошибка. По сути для каждого наблюдения берем модуль разницы ABS(Факт - Прогноз), делим на Факт, и усредняем по всем точкам. Ну и не забываем, что коллегам всегда понятно выражение "в среднем мы ошибаемся на 12%".

Проблемы начинаются в окрестностях нуля (допустим, было 0-1-2 транзакций, когда в среднем под 1000). Исключим очевидные моменты с делением на ноль, но при этом все же имеем неприятный момент с околонулевым знаменателем. Типа поделили (1000-1) на 1, и получили 99900% ошибки.

Кайф? Не особо

Ну и не забываем про несимметричность метрики - в кейсе с 1 вниз мы улетим максимум на 100%, ну а вверх неограничены.

2️⃣SMAPE (Symmetric Mean Absolute Percentage Error) - симметричная средняя абсолютная процентная ошибка. Здесь тот же мейп, но с немного другим знаменателем. ABS(Факт - Прогноз) / ((Фактом + Прогноз) / 2)

Здесь мы примерно стараемся избежать маленького знаменателя, но конечно же в некоторых кейсах деление на маленькие числа неизбежны. При этом имеем значение метрики от 0% до 200%, что решает проблему бесконечной ошибки MAPE.

Кстати, можете попробовать на обычных примерах оценить реальную симметричность метрики - можно заметить склонность сильнее штрафовать за занижение прогноза. Ну и стоит ли бизнесу говорить о симметричном MAPE?

Наверно не стоит

3️⃣WAPE (Weighted Absolute Percentage Error) - взвешенная абсолютная процентная ошибка. Тут все просто - суммируем все абсолютные ошибки ABS(Факт - Прогноз) и делим эту сумму на сумму факта, неявно взвешивая ошибку каждого товара по его объему продаж. Типа число транзакций около единицы уже не так сильно повлияют на итоговую метрику.

Понятно бизнесу, нет деления на ноль и вообще все четко. Но при высокой точности по WAPE мы можем топово предсказывать крупные категории и полностью промахиваться по остальным сегментам.

4️⃣WMAPE (Weighted Mean Absolute Percentage Error) - взвешенный MAPE (не путаем с WAPE). WMAPE - это среднее значение MAPE, где ошибка для каждого товара взвешивается по его важности (например, по доле в продажах). Для каждого товара считаем его MAPE. Затем умножаем MAPE каждого товара на его вес (например, долю в обороте) и суммируем. Sum(prop_i * MAPE_i).

На тотале мы уже не уидим таких разлетов, но по конкретным категориям все же деление на околонулевые значения будет накладывать свой эффект.

Что в итоге?

Я думаю, вы отсюда уже поняли, что не существует одной идеальной метрики, и лучше всего смотреть их комбинации или разные разрезы для того, чтобы принимать правильные стратегические решения. Выбирайте метрики с чувством, толком и расстановкой, ну и пусть наши прогнозы всегда будут точными.

Дополнительное чтиво: 1, 2, 3

#metrics

Откуда у нас такие хорошие метрики - мы просто правильно их считаем

Сегодня после одного из обсуждений зацепился за мысль с предыдущего поста о том, как бы в не начать обманывать самого себя с неправильными метриками. Вроде бы и не разлетаемся по WAPE, но вот в некоторых категориях настолько сильно разлетающийся прогноз, что большинство товара потом летит в списания. Идея же по сути не в том, чтобы как-то делать виноватым прогноз в правильности предсказаний.

Скорее про отсмотр правильных разрезов для правильных выводов

Допустим, команда прогнозирования спроса на своих дэшах видит MAPE порядка 5%, что ну супер круто в реалиях ритейла.

А по каким разрезам эта метрика считается?

1. Давайте проверив наличие товаров с нулевыми продажами. Ведь их тоже надо предсказать и при этом убедиться, что продаж не было не по причине отсутствия товара на полке. Иначе это уже упущенная выгода
2. Есть ли учет выбросов с разными промо и аномалиями, потому что они реально влияют на общую картину. Тут кстати еще важно понимать, что восстановленный спрос может отличаться от факта

На дэше Лев Толстой, а в реале …

Ну или если считаем конверсию в новую фичу - допустим, продуктовая команда запускает новую фичу в мобильном приложении и мы видим рост конверсии на 40%. Кейс на 4 плюса очевидно.

Что может пойти не так? Что, если это навязчивый полноэкранный поп-ап, предлагающий оценить приложение и он вылазит при каждом входе. Но это не так страшно, как считать вовлечённость в виде любого взаимодействия с поп-апом (даже нажатие кнопки закрыть)

Ну вы поняли

Ну и конечно не забываем следить за другими метриками, чтобы с ростом новых юзеров не упал ретеншен.

Я не думаю, что это делается со злым умыслом. Причины обычно глубже:
1️⃣Иногда страшно признать, что что-то не работает
2️⃣Иногда мы можем не понимать связь между метрикой и реальной бизнес-ценностью.
3️⃣Ну и база: «Когда мера становится целью, она перестает быть хорошей мерой».

Что делать?

▫️Документируем расчеты
▫️Описываем глобальные цели: Какую бизнес-проблему мы решаем этой метрикой? Что мы будем делать, если она пойдет вверх или вниз?
▫️Смотрим другие метрики. Растёт скорость регистрации? Проверьте, не упала ли активация. Растёт число фичей? Убедитесь, что не падает производительность.
▫️Ну и конечно культура честности: красный график - это не провал, это сигнал. Это самая ценная информация, которую мы можем получить, это же точка роста!

Так что в следующий раз, когда увидите подозрительно идеальный дашборд, просто спросите как люди считали😹

#softskills #metrics

Интересное что-то от ребят, кого я читаю v0.32

Предыдущий пост тут
Интересное что-то тут

Половина сентября пройдена, а значит до следующего лета не так уж и далеко 👍

1. Макс обнаружил топовый курс с топовыми преподами (рисерчеры из разных топовых лаб) по Agentic AI. Говорят, что по прошлой итерации было неплохо с модельками и ризонингом, так что надеюсь курс будет годный.

2. Андрей накидал большое количество материалов по сокетам, чтобы мы наконец-то уже поняли эту тему с кодом на Python. Надеюсь, мы разберемся, почему сервер не должен завершать работу после того, как ответил одному клиенту, и почему очень важно использовать многопоточность или асинхронность.

3. Валера запилил свой поиск для агентов на SearXNG (open-source метапоисковик) + его адаптер = drop-in замена Tavily, где меняется base_url. API тот же, но приватный и условно-бесплатный.

4. Евгений поделился статьей про действенные и экологичные методы повышения зарплаты и даже на своем примере показал, как один из этих вариантов сработал. Тут конечно стоит все воспринимать на свой страх и риск, у всех карьеры разные, окружение на работе разное, поэтому нужно понимать весь контекст - учтите, можно потратить сил, а выхлоп получить.

5. Дмитрий нашел модели с длинным контекстом в 2M токенов - это Sonoma Dusk Alpha и Sonoma Sky Alpha, обе работают бесплатно на опенроутере. Ходят слухи, что это могут быть модельки от xAI.

На этом все! На следующей неделе вернусь еще с пятью полезными постами!

#interesting

Идеологическая составляющая работы

Классическая ситуация - мы молодые челы, выпустившиеся с топовых универов с топовыми курсами и с топовым резюме выбираем между несколькими офферами. При этом их можно разделить на 2 типа:

1️⃣Сочный оффер от крупной корпорации, предсказуемые задачи на несколько лет вперед, строгая иерархия, полностью выстроенные процессы, при этом зарплата выше среднего по рынку. Возможно, проект не особо зажигает, возможно там много легаси, возможно не удастся потрогать новые технологии, но (если вдруг не будет крупных сокращений) на эти деньги можно взять ипотеку уже через год

2️⃣Не менее сочный оффер от дерзких ребят со стартапа, где будет возможность делать то, что мы и сами делали бы бесплатно. Это по-настояшему двигает нас и интересно нам, а тут еще за это и деньги плотят. Оффер чуть ниже рынка, зато задачи, команда и сама атмосфера бешено заряжают. Есть даже некоторое ощущуение, что можно повлиять на индустрию

Сначала заработаю, а потом буду заниматься тем, что нравится

Все в целом понятно - сначала закрываем базовые потребности, а потом прыгаем в рисковые проекты. Тупо, надежно, с максимизацией матожидания дохода. К сожалению, здесь эта самая оптимизация может отработать только на краткосрок - например, занимаясь неинтересными задачами изо дня в день на длинной дистанции можно выгореть настолько, что возвращаться ни на какую работу больше не захочется (тем более кто выпустит из психдиспансера?)

Каким будет наш внутренний ответ на вопрос "Зачем я это делаю?" Не страшно получить ответ про деньги в числе топовых. Важно не забывать про самого себя в устремлениях к этой цели. Именно здесь хочется вспомнить про видение идеологии в работе.

Я бы обозначил следующие моменты:
▫️Нам искренне любопытно решать поставленные задачи
▫️Мы видим, какую пользу приносит ваша работа людям, компании или миру
▫️Принципы компании совпадают с нашими личными
▫️Задачи способствуют нашему вектору развития

Когда эти компоненты есть, работа перестает быть просто обменом времени на деньги. Это становится частью нашего саморазвития или даже самореализации. Иначе на одной денежной мотивации может быть легко только первые полгода-год. Далее вся новизна может внезапно исчезнуть. Задачи станут скучными и бессмысленными. А зпха 300кк/сек будет ощущаться скорее как компенсация за страдания - давайте не доводить до этого.

Я не хочу тратить треть своей жизни на то, что забирает энергию

Внешняя мотивация (деньги, статус) — ресурс конечный. А за счет внутренней (интерес, смысл) мы и проживаем интереснейшие моменты нашей жизни. Здесь я напомню, чеальность сложнее, чем приведенные мной крайности. Поэтому я бы хотел напомнить про компромиссы и выстраивание правильной стратегии.

Допустим:

1️⃣На старте можно проинвестировать в рост и интерес (при этом мы можем брать более высокие риски), даже если зарплата на 15-20% ниже рынка. То есть первые N лет карьеры мы стратегически прокачиваем навыки и опыт
2️⃣Экспертная ветка прокачивается быстрее, когда мы увлечены своим делом, учимся быстрее, легко погружаемся и по крупице становимся тру профессионалом. А крутым профессионалам всегда готовы платить. Очевидно, что наша экспертность повысит нашу ценность
3️⃣Рано или поздно, мы окажемся в той точке, где мы будем заниматься любимым делом за 300кк/сек (если не надоест)

С другой стороны, можно закрыть и краткосрочные цели, но например строго себя ограничить: "Я работаю на этом проекте ровно N лет, чтобы накопить X денег на Y и параллельно с работой изучаю то, что мне интересно (курсы, пет-проекты)". Кстати, возможно за эти N лет и появится желание работать на этом проекте.

Карьера - это про марафон и долгосрочные цели. Важно уметь совместить и доход, и интерес со смыслом. Давайте искать то, что зажигает нас изнутри, чтобы расти, развиваться и чувствовать себя счастливым.

Давайте сердечки за интерес и смысл в работе, а огонечки за деньги. Посмотрим, кто и как на это смотрит.

#career

Аналитесса-разработчица 🐰

Здесь в блоге мы с вами часто обсуждаем пути и роадмапы для быстрого вхождения в карьеру датасаентиста и вообще допустим любого аналитика. При этом традиционный путь никто не отменял. Топовые результаты в школе, затем топовый ВУЗ и топовые курсы, после сразу топовая стажировка и voila, можно залетать на любую вакансию с 300кк/сек

И вот вам пример:

Анна закончила Вышку и ШАД, до этого участвовала в олимпиадах, после сразу влетела на стажировку в Яндекс и сейчас поднимает аналитическую платформу в Авито и еще ведет свой канал @analytess 💪🏿

Из полезного я бы выделил:

▫️Синдром олимпиадного прошлого
▫️Work-life balance vs work-life blend
▫️Критический взгляд на исследования зп
▫️Плюсы работы в Авито
▫️Хороший пост про переработки руководителя

Еще я бы сюда докинул концентрат опыта через видение онбординга и понимание важности джунов (почему они все же будут нужны). Кстати, Анна еще параллельно много путешествует (например, есть крутой пост про то, как отдыхать в 2026 году выгодно) и даже завела под это отдельный канал 😈

Всю самую топовую информацию вы найдете на канале, а я по классике рекомендую пробежаться, вытащить для себя все самое важное и подписаться на @analytess чтобы не пропустить экспертный контент 🌟

Могут ли аналитики-разработчики закрывать все DS задачи?

Если вы помните мой недавний пост про analytics-first или development-first датасаентистов, то я там упоминал достаточно полярные роли - либо мы сильно упарываемся в аналитику и общение с бизнесом, либо мы сильно погружаемся в сторону разработки и выкатки моделей в прод.

На самом деле, в командах это выглядит более размыто - то есть скорее относится к нотации T-shaped специалистов. Если команда работает в своих проектах end-to-end, то скорее вы не увидите там аналитика, который даже там регулярный расчет SQL-скриптов в прод выкатить не сможет, так же как и нет только разработчиков, которые не смогут провести легкую аналитику или не поговорят с бизнесом. Все это скорее подразумевает такой подход, где у всех есть определенная база и пара очень сильно вкачанных веток развития скиллов.

Почему это работает именно в таком виде?

Потому что направление работы сильно зависит от зрелости продукта:

1️⃣Идея

Бизнес только задачу. И продукт-менеджер (Product Owner) вместе с аналитиком-разработчиком формулируют гипотезу и определяют метрики. Здесь важно понять, какую проблему будет решать продукт/фича или моделька и сразу понять что и зачем делать

2️⃣Рисеч

Допустим, аналитик-разработчик проводит EDA, собирает MVP модели в ноутбуке, чекает гипотезу. Самое главное - это быстрые итерации и вообще похер какой код (главное, чтобы работало и воспроизводилось). Нам нужно быстро доказать или опровергнуть ценность идеи с минимальными затратами

3️⃣Прод

Если наш MVP показал необходимый результат, то его надо выводить в прод - короче сделать решение автоматизируемым. И здесь уже нужна другая вкачанная ветка нашего аналитика-разработчика, чтобы этот самый код переписать нормально, с пониманием архитектуры, масштабируемости. Приправить это логированием, тестированием и при необходимости интегрировать с другими сервисами. Самое простое - обернуть модель в API, поднять несколько под или Docker-контейнер, ну и настроить CI/CD, просто чтобы решение работало надежно, стабильно и эффективно

4️⃣Мониторинг и поддержка

После выкатки аналитик-разработчик (в дэшах, сделанных им же) следит не только за бизнес-метриками и считает эффекты от модели и влияние на бизнес, а также чекает технические моменты: время ответа, нагрузка. Дополнительно к этому проводятся итеративные улучшения от обратной связи коллег или работы с краевыми кейсами

Сколько ролей мы здесь насчитали?

Как минимум аналитик, разработчик, mlops

Распределив роли, мы можем не заставлять аналитика писать идеальный код, а разработчика часами копаться в сырых данных. Каждый занимается тем, в чем он наиболее силен. Но аналитик-разработчик занимается всем 😂

Достаточно ли аналитика-разработчика для решения всех DS проблем?

Нет

Потому что есть тот, кто не строит ML-модели и не пишет бэкенд. Но этот специалист и пишет много кода, и работает с данными. Вы наверно уже догадались, что это Data Engineer - и его суть превращать сырые данные из хранилищ в чистые и понятные витрины, на которых уже будут работать аналитики. По сути, аналитик-разработчик без этого не сможет делать свою работу. И кстати вкачать эту ветку развития будет довольно не быстро (попробуйте например заботать HDFS и Spark).

К чему я веду

К тому, что узкие специализации в больших командах позволяют каждому работать в своей области более эффективно, чем несколько многоруких-многоногов над разными проектами. И вместо споров о важности аналитиков-разработчиков или разработчиков-аналитиков можно подумать в сторону кросс-функциональных команд для создания постоянной ценности.

Проблема не в том, чтобы найти "многорукого многонога" или заплатить две ставки. Проблема в том, чтобы выстроить процесс и собрать команду, где каждый специалист максимально эффективен на своем этапе. И тогда вы платите не "за две ставки", а за десять, а инвестируете в целостный процесс создания data-driven продуктов.

👍Лайки - за аналитиков-разработчиков
❤‍🔥Сердечки - за разработчиков-аналитиков
🔥Огонечки - за дата-инженеров (ну и mlops пусть будет сюда же)

#career

Интересное что-то от ребят, кого я читаю v0.33

Предыдущий пост тут
Интересное что-то тут

Всех с кайфовым теплым денечком, надеюсь вы не провели его за компом, как я 😈

1. Женя сделал небольшой гайд с применяемыми им AI-инструментами. Ребята в коментах справедливо докинули про Copilot, но в целом больше придраться не к чему - хорошая емкая информация, на крайняк свериться со своими инструментами (на самом деле я хотел пилить примерно похожий пост, но уже сомневаюсь)

2. Влад в двух частях 1, 2 приготовил обзор дельта-метода для прикладных задач в A/B-тестировании. Это не значит, что нужно уходить от бутстрапа, но автор настоятельно рекомендует.

3. Просто мощнейшая база от Толи про тестирование собственных финансовых стратегий на эффективность. Суть какая: если на оптимизатор находит профит в случайных алгориитмах - возможно что-то не так с оптимизатором и надо искать лики.

4. Сергей рассказал про e-value. Это короче как p-value, но отвечает на немного другой вопрос: "Насколько сильным должен быть некоторый неучтённый фактор, а не тритмент, чтобы полностью объяснить результат?"

5. Никогда бы не поверил, что сюда попадут Поступашки, хотя у ребят хороший контент с точки зрения ботки. Но рекомендую ознакомиться с роадмапом в аналитику от ребят. Не совсем согласен с очередностью ботки от ребят, но очень рад, что с точки зрения упора на SQL в первую очередь мы свопали во мнениях. Мой роадмап если что тут

По классике надеюсь, что вам зашли посты, если есть что-то реально топовое - делитесь в каментах!

#interesting

Саморазвивающее хобби

С появлением блога мне кажется я успел перепробовать себя в куче новых ролей и скажем так, что это хобби как-то научило меня развиваться не только с хардовой стороны.

Типа как обычно бывает - завел блог, чтобы писать про свое развитие в DS, а в итоге начал писать обо всем, что интересно, завел к этому дополнительный канал, и даже успел записать с ребятами несколько подкастов. Максимум, что я предполагал, это просто делиться экспертизой и хаками. Реальность оказалась куда шире и интереснее.

По сути хобби стало саморазвитием

Мне казалось, я буду качать только мл-часть, иногда писать про софты, возможно писать обзоры статей как все делают. В реальности я:

🌟Научился формулировать мысли и структурно их подавать
🌟Слегка погрузился в продающие тексты и даже записывал пару видео
🌟Поборол стеснение показать самого себя на канале
🌟Узнал и познакомился с большим количеством коллег и по работе, и по блогингу
🌟До сих пор не особо понял, интересны вам длиннопосты или нет

Мне кажется, что самый основной вывод отсюда, что блог - это в первоую очередь не про обучение и развитие других. Оно может в себя это включать. Но кажется, что главная идея здесь - это про то, чтобы учиться самому и подавать пример. Пример дисциплины, пример обучаемости, пример стратегического мышления. Сразу оговорюсь, что на 100% с меня пример брать не стоит, но хотя бы берите пример с развития в своем направлении!

Короче, знаете, интересный такой win-win. Вот на скрине например я монтирую подкаст, хотя месяц назад я даже не понимал, где это можно делать.

#life

Созвоны длиннее 40 минут

Так, тут еще минутка осталась, давайте еще раз переподключимся, договорим

Ведёшь встречу, на которую всем селом всей командой собирались поговорить про модельки, шаришь экран с кодом, показываешь команде тот самый отбор признаков в коде. И хоба, Zoom meeting ended.

Ну ладно, со временем можно привыкнуть - просто за минуту до окончания звонка вежливо договариваемся переподключиться и обычно топ, когда кто-то не отвалился в процессе

Братан, ты завис

Рассказываешь с воодушевлением ребятам про архитектуру прогноза, все по классике молчат, внимательно слушают. Иногда так неловко, что приходится переспрашивать - а меня слышно там? Не подвис? Иногда все ок, а иногда в ответ через 5 секунд: «Сань, Саня, Сань ты завис. Давай еще раз»
Так, собираемся, темп вроде не растерян, мысль еще в голове, продолжаем💪🏿

Удаленка - это про то, когда надо выбирать из нескольких вариантов, у которых свои плюсы и минусы

▫️Zoom для созвонов меньше 40 минут
▫️Google Meet чисто созвониться с пацанами с Европы, но без камер и шеринга экранов - иначе все будет подвисать
▫️Еще до недавнего времени можно было юзать телегу, но что-то в последнее время сильно лагает

Не кайф тратить каждую встречу на инструменты

Недавно ко мне в личку дошли и предложили затестить Teleboss. Ну типа камон, удивите меня, лучше зума мб уже ничего и не придумаешь

Что работало:

1️⃣Картинка и звук стабильные, сравнивал с двух компов - качество одинаковое на обоих даже если у кого-то интернет с мобилки
2️⃣Демонстрация экрана кстати бешеная - можно даже дополнительно к этому зашерить трансляцию
3️⃣Ну и база - через 40 минут никто не вылетел
4️⃣Если я расшарил ссылку на звонок, то ребятам при заходе с нее не нужна регистрация, только имя и доступы к камере и микрофону (с телефона тоже сработало с веб-версии)

На удивление все работало вот просто без происшествий и проблем. Кстати, в созвоне еще можно по своему разместить окна и даже положение своего фейса на экране (типа налево и типа направо)

Что не сработало:

🔸Не сразу понял, куда сохранилась запись звонка - позже мне коллеги показали, что рядом с названием комнаты есть кнопка с записями и там все нашлось
🔸При нажатии на фуллскрин обрезалось изображение с камеры

Понятно, что тестить можно бесконечно, но я не тестировщик и например пик нагрузки не высчитывал. Если у вас много времени, то велком тестить:

https://teleboss.ru/

Если зарегистрироваться, ребята дают неделю тарифа Personal бесплатно, чтобы можно было без спешки всё протестировать со своей командой.

Надеюсь, кому-то это сэкономит кучу нервов и времени💪🏿

Minority drift

Мы все наверно сталкивались с явлением датадрифта после выкатки в прод модельки без частого преобучения. По сути, попадая в ситуацию, когда статистические свойства данных, поступающих на вход модели на инференсе в реальном времени, начинают отличаться от данных, на которых модель обучалась.

Один из способов этого избежать - это заранее убрать признаки, которые будут разлетаться в проде, например я про это писал в посте про PSI

Коллеги по цеху пошли дальше в этом плане и решили провести вебинар на 2 часа вместе с Team Lead из Yandex на практике учиться распознавать виды Minority Drift, делать модели устойчивыми к дрейфу и оценивать деградацию и финансовые риски.

Когда:

▫️6 октября, ПН
▫️19:00 по мск
▫️2 часа

Что будет на уроке:

1️⃣Виды Minority Drift в продакшен данных: Class-wise, Conditional, Subpopulation, Hidden Drift

2️⃣Оценка деградации моделей и финансовых потерь на практике

3️⃣Методы стабилизации признаков и моделей: PSI и KL-дивергенция

4️⃣Контроль качества — построение Fairness Metrics

Преподает Дмитрий Сафонов, Data Science Team Lead в Яндексе.

Урок для Data Scientists, Classic ML и NLP-инженеров. Нужны базовые знания основ машинного обучения, математики и программирования.

➡️ Записаться на урок