Сегодня обсудим, что означают усы на боксплоте, картинка для иллюстрации к опросу ниже

Правильный ответ на вопрос про боксплот: нет правильного ответа

Мнения в опросе разделились, побеждает ответ про максимальные и минимальные значения в пределах 1.5 IQR, а также довольно популярным оказался ответ про верхний и нижний квартили (на момент написания поста 31% и 19%, соответственно).

Однако я сама проголосовала за отсутствие однозначного ответа, так как в боксплоте могут быть разные настройки усов, поэтому нужно всегда подписывать, что означает ваш боксплот и читать обозначения. В большинстве случаев дефолтный боксплот будет действительно с наблюдаемым максимальным и минимальным значением от соответствующего квартиля в пределах 1.5 IQR, но могут быть и другие варианты.
В комментариях к опросу их обсудили, выношу их сюда в пост.

- Минимум и максимум: довольно часто встречаются боксплоты, где усы обозначают максимум и минимум, даже в статье Variations of Box Plots он именно такой (спасибо Максиму Кузнецову @bqmaks за ссылку на статью).
- 10% и 90% данных: в FastQC, биоинформатическом туле для контроля качества секвенирования, усы боксплотов обозначают 10% и 90% данных, цитата из документации:

The upper and lower whiskers represent the 10% and 90% points

Пример боксплотов оттуда на прикрепленной картинке

- Верхний и нижний квартили обычно обозначают сам ящик, а не усы, возможно популярность этого варианта объясняется тем, что люди невнимательно прочитали вопрос
- Все остальные варианты. Как было подмечено в комментариях, при желании в боксплоте можно настроить все что угодно, даже стандартное отклонение и доверительные интервалы, что конечно не рекомендуется делать.

На картинке к опросу боксплот соответствовал самому дефолтному варианту с 1.5 IQR, код для построения был такой:

library(tidyverse)
library(palmerpenguins)

penguins %>% 
  filter(species == 'Gentoo') %>% 
  ggplot(aes(species, bill_length_mm))+
  geom_boxplot()+
  theme_minimal()

Таким образом, наиболее близким к правильному ответу будет вариант, что усы боксплота соответствуют наблюдаемым максимальным и минимальным значениям от соответствующего квартиля в пределах 1.5 IQR, но могут быть и другие варианты, поэтому всегда нужно подписывать и проверять подписи ✍️

P.S. приходите 20 мая на лекцию по визуализации данных: https://bioinf.me/stat_myths

#base_stat

Как я перепутала средние чеки и ARPPU и заруинила несколько A/B тестов

Я работаю в команде платежей, поэтому основные A/B тесты у нас проводятся на последнем этапе воронки - от нажатия кнопки “Купить” до успешной оплаты. Мы используем конверсию в успешную оплату как ключевую метрику и ARPPU как вспомогательную, это достаточно стандартный подход.

Иногда бывает, что одна из метрик падает, а другая растет. Чтобы понять, что на самом деле происходит с выручкой, мы используем прогнозную финмодель. Мой коллега Рома читал про это очень крутой доклад на Aha-25 (ссылка вот, попозже я может напишу развернутый отзыв на конфу).

Небольшая сноска про термины 🤓:
Средний чек (Average Order Value, AOV) - это просто вся выручка, деленная на количество транзакций, то есть буквально среднеарифметическое.
ARPPU (Average Revenue Per Paying User) - средняя выручка на платящего пользователя.
Пример: пользователь 1 купил на 200р, пользователь 2 купил на 100р, потом еще на 300р. Тогда средний чек будет (200+100+300)/3=200, а ARPPU = (200 + (100+300))/2 = 300, так как платящих пользователей 2 в этом примере.
Есть еще метрика ARPU - Average Revenue Per User, средняя выручка на пользователя (включая тех, кто не заплатил).

ARPPU будет всегда больше чем средний чек, как минимум не меньше.
В контексте A/B тестов эти метрики считаются базовыми и разбираются на любом курсе.

Моя ошибка была в том, что я считала средние чеки (просто mean(revenue)), но почему-то думала что это уже ARPPU, таким образом проанализировала несколько результатов тестов. Ошибку случайно заметил продакт, когда сверял исторические данные и увидел, что мои значения "ARPPU" по порядку величины подозрительно похожи на средние чеки 🤦‍♀️. Пришлось пересчитывать, благо принципиально выводы не поменялись, но несколько тестов были признаны неуспешными, а после пересчета оказалось, что все нормально.

Почему используется именно ARPPU как метрика в A/B тестировании?

В принципе, можно использовать разные денежные метрики в зависимости от поставленной задачи. В нашем случае мы рассматриваем ARPPU в связке с конверсией. Используя финмодель, эта связка помогает принимать решения не “на глазок”, а с прогнозом реальной выручки. Но только если метрики посчитаны правильно — теперь я это точно не забуду 🙃

#analytics #AB_tests

🌱 Мендель, хи-квадрат и споры о статистике

В середине XIX века монах Грегор Мендель скрещивал сорта гороха и вывел знаменитые соотношения 3:1 и 9:3:3:1, которые стали фундаментом для понимания наследования признаков. Мы со школы знаем Менделя как отца генетики, и наверняка все помнят тот самый зеленый гладкий и желтый морщинистый горошек для иллюстрации законов дигибридного скрещивания.

В своей работе Мендель выбрал признаки, которые зависят только от одного гена, так называемые моногенные признаки — форма семян, цвет семян, высота стебля и тд, всего 7 признаков.

Мендель провёл десятки тысяч скрещиваний и получил соотношения 3:1 и 9:3:3:1. Это пример моногенного наследования — когда признак зависит от одного гена, и подчиняется простым законам, тем самым законам Менделя, которые назовут в его честь сильно позже:

1) Закон единообразия гибридов первого поколения: доминантный аллель подавляет рецессивный, и все гибриды первого поколения (F1) имеют одинаковый фенотип.

2) Закон расщепления признаков: при скрещивании гетерозигот (Aa × Aa) потомство делится в пропорции 3:1 по фенотипу и 1:2:1 по генотипу.

3) Закон независимого наследования признаков: при дигибридном скрещивании (два признака) гены наследуются независимо, давая соотношение 9:3:3:1 по фенотипу.

В целом можно сказать, что законы Менделя это “Hello world” от мира генетики. Во многих случаях они нарушаются, например если гены сцеплены, или если гомозиготы по рецессивному признаку не выживают, тогда расщепление будет другое. Однако было бы несправедливо сказать, что Менделю просто повезло наткнуться на удачный признак и удачный тип наследования, ведь был и неудачный опыт с ястребинкой, но это отдельная история.

Нас же интересует статистика.

В 1936 году Рональд Фишер, один из основателей современной статистики и синтетической теории эволюции, применил χ²-тест к данным Менделя и отметил, что результаты слишком близки к теоретическим пропорциям 3:1 и 9:3:3:1. Это вызвало подозрения.

Даже при моногенном наследовании должны были возникать отклонения от теоретических значений. Фишер предположил, что неизвестный ассистент Менделя мог неосознанно корректировать или отбирать данные, так как знал желаемое распределение.

Цитата Фишера:

"the data of most, if not all, of the experiments have been falsified so as to agree closely with Mendel’s expectations"

По сути, Фишер обвинил Менделя в фальсификации данных, что вызвало бурные споры в научном сообществе, которые актуальны и сейчас (последнюю статью на эту тему нашла за 2019 год).

А что думают статистики сейчас?

Одна из ключевых современных работ — статья Pires & Branco (2010) в журнале Statistical Science. Авторы предложили простую, но элегантную статистическую модель, которая объясняет «слишком идеальные» данные Менделя без фальсификации.
Их гипотеза:

Мендель мог из нескольких экспериментов публиковать только результаты с лучшим распределением, наиболее близким к теоретическому.

То есть если эксперимент давал пропорции хуже, чем предполагалось, его повторяли. А если новый результат был ближе к теории — брали его. Это не фальсификация, а unconscious bias, то есть неосознанная предвзятость.

Авторы показали, что такая модель:

- воспроизводит распределение p-value в данных Менделя,
- снимает подозрения в преднамеренной фальсификации,
- объясняет низкие χ²-значения лучше, чем честная выборка с независимыми тестами.

При этом они подчёркивают, несмотря на то, что замечание Фишера обосновано с точки зрения статистики, предложенная модель разрешает долгое противоречие между Менделем и Фишером, отцами современной генетики и статистики.

#stats

В комментарии закину фотографию из музея Менделя в Брно

Отзыв о книге “Доверительное A/B тестирование” и фейлы перевода

Недавно дочитала эту книгу (в основном в переводе, но сверяясь с оригиналом). Книга очень крутая, настоящий must have для продуктовых аналитиков и продакт-менеджеров. Авторы буквально основатели A/B-тестирования в том виде, в каком мы его знаем.

Самые интересные и полезные темы для меня:

1. Введение, актуально не только для аналитиков, так как позволяет больше понять, почему не у всех бывает одинаковым интерфейс сайтов 😏
2. Этика A/B экспериментов, важная тема, которую мало обсуждают на курсах и в телеграм-каналах. Возможно, распишу про это подробнее в отдельном посте.
3. Про t-test и необходимо ли для него нормальное распределение выборки разобрано корректно, лучше чем в некоторых статистических пособиях. Более подробно про это была лекция от Института Биоинформатики.
4. Подводные камни A/B тестирования и способы их избежать: Sample Ratio Mismatch, сетевой эффект, парадокс Симпсона, необходимость A/A тестов и не только. Эти темы сейчас кажутся базовыми, так как много внимания уделяется на курсах, но во многом курсы и вдохновлены этой книгой.
5. Другие варианты экспериментов, когда A/B невозможен: Diff-in-Diff, interrupted time series и тд, неплохой обзор методов, но для глубокого изучения нужны дополнительные источники.

Еще мне было интересно почитать про историческое развитие метода, я даже вдохновилась написать про историю A/B задолго до появления интернета и бигтехов и первые A/B тесты в индустрии.

Но к сожалению перевод на русский от издательства ДМК Пресс оставляет желать лучшего.

Примеры ошибок в переводе:

– логи данных → данные журналов
– логарифмическое преобразование → преобразование журнала
– нулевая гипотеза → гипотеза нулевого значения или гипотеза о нуле
– статистически значимая разница → значительная разница (вот это по-моему одна из самых критичных ошибок)
– и множество мелких неточностей

В принципе в большинстве случаев понятно, о чем идет речь, плюс всегда можно посмотреть оригинал, тем не менее, такие ляпы затрудняют восприятие текста и вызывают недоверие к переводу.

Я бы рекомендовала читать книгу тем, кто хочет подтянуть именно продуктовую и методологическую часть A/B тестирования и повысить насмотренность. Но лучше иметь хороший бэкграунд в статистике и теории вероятностей, все-таки это не статистика и котики)

Пишите в комментариях, какие из вышеперечисленых тем хотелось бы разобрать подробнее!

#analytics #AB_tests

Загадка (все события вымышленны, любое совпадение случайно 😏):

Студент устроился джуном администратором баз данных в один известный бигтех
Проходит месяц. Наступил день зарплаты — а новичок за деньгами не приходит. Прошёл второй месяц, третий, четвёртый, а за зарплатой он так и не пришёл.
Стало его коллеге синьору интересно, что происходит. Он вызывает к себе этого студента и спрашивает:
— Ты что это за зарплатой не приходишь? Не нужна что ли?
— Зарплата?! Ой… А я-то думал, дали данные пользователей — и крутись как хочешь…

#stat_fun

Сходила в гости к дружественному каналу "N айтишниц заходят в бар"
https://www.tgoop.com/n_it_girls/442
Немного рассказала про то, как попасть в аналитику данных, чуть подробнее про конкретные курсы и инструменты написала здесь https://www.tgoop.com/stats_for_science/105, а здесь больше про бэкграунд

#analytics

Небольшой интерактив: напишите самые раздражающие фразы, связанные со статистикой

Например:
1) p-value это вероятность того, что нулевая гипотеза верна
2) давайте проведем больше тестов и выберем тот, который покажет значимый результат
3) данные распределены ненормально, нужно делать непараметрический тест
4) достоверность различий

Продолжайте в комментариях!

Из предложенного выберу несколько фраз, и подробно разберу, в чем их ошибочность. Пока что в планах написать про "достоверность различий"

#stats

В предыдущем посте я попросила написать самые раздражающие вещи, связанные со статистикой, набралось очень много ответов, спасибо, было интересно почитать.

В комментариях Дамир Марапов отметил важную мысль, которую я считаю нужным вынести отдельно.

Примеры в комментариях можно условно разделить на:

- Явные ошибки, например в определениях: p-value это вероятность того, что нулевая гипотеза верна, достоверность различий и тому подобное.
- Неточности и ошибки в методологии: например, для t-теста нужно нормальное распределение исходных данных. Тут сложнее, так как конечно нужно нормальное распределение выборочных средних, но в случае нормального распределения данных, это выполняется автоматически. Отсюда и берется этот алгоритм проверки на нормальность тестами Шапиро-Уилка и прочее. Но мы не можем сказать, что всегда можно использовать t-тест не глядя, по ЦПТ, равно как и использовать всегда непараметрические критерии.

И вот про методологию хотелось бы поговорить отдельно.

При обучении статистике сталкиваешься с алгоритмами и догмами (делайте так, а вот так неправильно), это касается всего, в том числе выбора статистического теста (немного писала, почему это плохо в материале про тест Велча). Но алгоритмы хороши только на этапе обучения, а дальше уже выясняется, что “есть нюанс”.

Простой пример из комментариев — корреляция бинарных переменных. Если честно, я тоже думала, что корреляции и ковариации бинарных величин не бывает (ну как вы собрались коррелировать 0 и 1?), но оказывается это имеет смысл, вот здесь можно почитать подробнее.

Даже такой карикатурный пример про продакта, который просит подсчитать результаты АБ теста в разных сегментах, чтобы найти хоть где-то значимые различия не всегда однозначно абсурден. Например, если мы обнаружили, что на какой-то платформе и в каком-то гео есть значимые различия, то можно провести дополнительное исследование конкретно в этом сегменте, чтобы подтвердить различия (особенно если у этого есть продуктовое обоснование). Но конечно в формулировке:

найди мне хоть где-то в этом АБ значимые различия, поправку на множественное сравнение не делай, а то вся значимость уйдет

— это хрестоматийный пример как делать не надо.

Тест Манна-Уитни сравнивает медианы — это статистический миф, но при выполнении определенных условий (если совпадают формы распределений) тест Манна-Уитни действительно сравнивает медианы.

Подглядывание в A/B тесты - запрещено, но если делать sequential testing, то можно.

В общем, я хочу подчеркнуть, что многие статистические правила и рекомендации являются действительно рекомендациями, а не догмами, и что-то, что в учебнике было описано как неверное, может на самом деле быть применимым в определенных условиях.
Потому статистику невозможно освоить на хорошем уровне за один семестровый или годовой курс, хотя они дают хорошую базу для дальнейшего изучения. То же самое можно сказать про курсы повышения квалификации — это отличный задел на будущее, но не стоит думать, что после освоения такого курса вы сразу станете гуру статистики и никогда не будете ошибаться, просто перестанете делать очевидные ошибки.
Ну ладно, так у меня не купят рекламу)
Но если серьезно, то после любого курса нужно продолжать обучение, погружаться в детали, так как четкие алгоритмы и рекомендации хороши только для старта.

#stats

Вечер лайвкодинга!

В ближайшую пятницу, 5 сентября в 19.00 МСК планируем провести аналитический антисобес.
Формат похож на мок-собеседование, но в отличие от него задачки планируем сделать наиболее близкими к реальным рабочим, поэтому назвали это антисобес.

Один аналитик придумает задачу, другой её решит, в удобном IDE, с гуглом, LLMками, байками и шутейками.
Никаких задачек на алгоритмы и бросание кубиков 😏

Зрители увидят:
- максимально приближенные к реальности задачи, рабочую среду и атмосферу
- сколько опечаток можно сделать на ровном месте
- типичное поведение продуктового аналитика: сидит на созвоне, да ещё и код пишет
- кот-ревью

В качестве подопытных выбраны:
- Елена, Статистика и R в науке и аналитике, аналитик Литрес
- Роман, Kotelok, аналитик Литрес
- Василий, независимый кот


Стримить будем на youtube, ссылку пришлю незадолго до начала сюда.
Вопросы можно будет задавать в комментариях к этому посту

Присоединяйтесь, будет интересно!

#analytics

Всем привет! У нас небольшие неполадки с запуском стрима, но вроде разобрались, заходите сюда https://youtube.com/live/Mw7vrpdtBRU

Обновляю пост, вот ссылки на запись:
Часть 1
Часть 2
В начале второй части были проблемы со звуком, минуты 3-4, но я пересказала кратко все пропущенное.

В общем было непросто, но первый запуск подобного формата получился, я считаю

Поговорим про статистические ошибки?

В пятницу 12 сентября в 18.30 МСК поговорим про самые распространенные ошибки и заблуждения в статистике и про то, как их избежать. Частично разберем, что обсуждали в этом посте, а также, что делать с проверкой на нормальность, выбросами и множественным тестированием.

Регистрация на вебинар здесь через бота, ссылка будет там же.

Сразу скажу, что это будет не лекция, а скорее дискуссия, приходите возражать)

Надеюсь, что в этот раз звук будет получше чем в прошлый))

Увидимся в пятницу в 18.30!

#stats

Что самое сложное в работе продуктовым аналитиком?

Для меня это не статистика и A/B-тесты, а метрики и всё, что с ними связано.

Имея опыт работы в науке, где статистика обычно сложнее, чем простые z-тесты или t-тесты, для меня не было проблемой освоить теорию A/B тестирования. Плюс как нам известно, A/B тесты исторически происходят из медицины, хотя имеют свою специфику тоже.
Кроме этого, хороших материалов по статистике немало, и освоить ее вполне реально (тут конечно тоже есть нюансы, easy to learn, hard to master, но все же). SQL, Python, дашборды и другие инструменты тоже относительно легко изучить, по крайней мере на уровне, достаточном для выполнения задач.

Но вот все, что касается метрик, выучить заранее по учебникам и курсам гораздо сложнее, во многом приходится разбираться уже в процессе работы. Да, есть стандартные метрики (DAU, ARPPU, Retention), которые проходят на курсах продуктовых аналитиков, но даже здесь можно перепутать средние чеки и ARPPU 😅
Настоящая сложность начинается, когда нужно разработать кастомную метрику. Она должна быть понятной, устойчивой к манипуляциям, отражать суть продукта и иметь возможность вырасти. В теории звучит разумно, но на практике подобрать подобную метрику совсем непросто, все время будет несоответствие хотя бы одному критерию. Нужно быть очень хорошо погруженным в свой домен и продукт (то самое "продуктовое мышление"), чтобы предложить действительно полезную и соответствующую всем критериям метрику. А это уже не изучить ни на каких курсах, набирается только с опытом работы.

Сюда же относятся прокси-метрики, они полезны, например, когда целевую метрику сложно прокрасить в A/B тесте. К хорошей прокси есть похожий набор критериев: должна быть скоррелирована с целевой, но отражать изменения раньше, с достаточной точностью. Умение подобрать хорошую прокси это тоже навык, который нарабатывается с профессиональным опытом и развитием продуктового мышления.

В общем за чуть меньше года работы продуктовым аналитиком могу с уверенностью сказать, что метрики - это самое интересное и сложное. АБ тестирование с какого-то момента становится рутиной, и тоже самое можно сказать про остальные инструменты, описанные выше.

Пока перечитывала текст, поняла, что некоторые вопросы остались нераскрытыми, например больше про прокси-метрики расскажу в отдельном посте, или почему в аналитике статистика в среднем проще относительно науки.

Ребята продуктовые аналитики, расскажите, а что для вас было самым сложным?

#analytics

Почему статистика в науке в среднем сложнее

В прошлом посте я писала, что в индустрии A/B тестеров в основном используются t-тесты и z-тесты конверсий. Понятно, что и здесь хватает нюансов: проблема SRM, ratio-метрик, снижение дисперсии через CUPED, а еще можно пойти в сторону causal inference, но это совсем отдельная история. В целом методология сравнительно проста, как правило, дизайн ограничен одним фактором и двумя группами.

При этом данных много (иногда очень много), эксперименты идут на десятках тысяч пользователей, и ЦПТ работает. Поэтому применяются относительно простые статистические методы: t-тесты, z-тесты (при необходимости с поправками на множественное тестирование, чаще всего используется Бонферрони), продвинутым разделом считается CUPED (вариация на тему ANCOVA). Этот набор уже закрывает ~90% стандартных A/B тестов. Основная сложность здесь не в математике, а в понимании метрик и продукта, работе с некачественными данными и в согласовании процессов с разработкой.

В академических исследованиях все иначе. Дизайн эксперимента часто многомерный: исследуется влияние сразу нескольких факторов и их взаимодействий. При этом выборки нередко маленькие, и центральная предельная теорема может не работать. Поэтому простого t-теста обычно недостаточно (а даже в простых дизайнах ученые часто применяют тест Манна–Уитни).

Кроме того, отдельная большая тема — работа с пропущенными значениями. В академической статистике это целый раздел, про это читают отдельные курсы. Но при работе с A/B тестами обычно природа пропущенных значений более прозаичная: например сломалось логгирование событий или пользователь не попал в нужную группу и просто приходится перезапускать тест.

Что касается поправок на множественное тестирование, в науке применяются разные подходы, от пост хок тестов в сложных дизайнах до расчета FDR при работе с транскриптомными данными. В аналитике же обычно ничего сложнее Бонферрони и не требуется, иногда применяют поправку Холма, а FDR вообще противопоказан, на мой взгляд, так как решает другую задачу (почему так, можно почитать в разборе поправок).

Поэтому ученому, который привык к более сложной статистике, сравнительно легко перейти в продуктовую аналитику: статистический бэкграунд обычно выше того, что требуется в индустрии, а многие модные аналитические термины на деле оказываются лишь переименованными или упрощёнными версиями давно известных методов 😏

#stats #analytics

⚡️ Уже 7 октября стартует курс «Статистика, R и анализ данных» от @blastim!
Если у вас есть сырые данные, но вы не знаете, что с ними делать — этот курс станет вашим спасением. Хотите понять, как работают статистические тесты, освоить R с нуля и перестать бояться слов вроде «гетероскедастичность»? Тогда вам сюда.

📅 Даты: 7 октября – 13 декабря

📍 Формат: онлайн-занятия по вечерам в будни, дополнительные встречи по выходным

👩‍🏫 Мультидисциплинарная команда преподавателей: Иван Поздняков, Елена Убогоева, Дарья Бородко, Елена Рыбина

Чему вы научитесь?
✔️ Работать с R и tidyverse для обработки данных
✔️ Строить графики и интерактивные отчеты
✔️ Планировать эксперименты и корректно проверять гипотезы
✔️ Разбираться в статистических тестах, их допущениях и ограничениях
✔️ Углубиться в анализ NGS и машинное обучение

🌟 Особенность курса: вы можете принести свои данные и проанализировать их под патронажем топовых экспертов — вы получите не только знания, но и реальный результат для вашей работы.
🎥 Первый урок с Иваном Поздняковым уже доступен на сайте: clck.ru/3PUFAY

🔥 Спецпредложение: скидка 10% по промокоду STAT2025. Сочетается со скидками для студентов и аспирантов.
По вопросам — пишите @varvara_blastim

🚀 Новое исследование рынка аналитиков от NEWHR

Каждый год NEWHR проводят исследование рынка аналитиков, в прошлый раз тоже делала репост анонса и результатов.

Приглашаю всех аналитиков: дата-, продуктовых, BI- и остальных пройти опрос (и укажите еще меня в читаемых каналах плиз 😏).

https://survey.alchemer.com/s3/8488868/analytics-NEWHR-2025

Что исследуют?
👉 Зарплаты и их динамика.
👉 Рейтинг работодателей для аналитиков, с нормальной аналитической культурой.
👉 Где работают аналитики, как работают (удалёнка/офис), какие планы на трудоустройтво.
👉 Как меняется зона ответственности аналитиков и чем хотят заниматься аналитики.
👉 Как аналитики ищут работу и выбирают работодателя.

Результаты за прошлый год можно посмотреть здесь.

Исследование планируется довольно объемное, поэтому результаты обещают выложить в начале следующего года, но с участниками поделятся промежуточными результатами раньше.

Не поленитесь потратить немного своего времени, это повысит репрезентативность выборки и качество данных!

#analytics