аналитика на кубах

Внезапно прошел уже месяц с AHA25. Можно, наконец, как честному слоупоку, поговорить про впечатления.

Программа оставила смешанные впечатления. Пропал блок по поведенческой экономике, появился блок по здоровью, чекапам и прочему. Очень много про AI / LLM, притом не с точки зрения продуктовой аналитики, а в продуктовых или маркетинговых задачах.

Из чисто аналитических инсайтов — и в кулуарах, и в докладах регулярно звучали реплики про “мы собираем 100500 метрик”. Конечно, какие-то метрики для ui, какие-то — по сегментам, но все равно. Сколько слышу, каждый раз поражает. Но одновременно задумался — может, и нам стоит больше метрик придумать/использовать?

Больше всего понравились два доклада. Тоже про метрики. Здесь можно посмотреть аннотации докладов.

Первый — “От cuped к mutlti-cuped: больше метрик — больше решений, или как мы превратили обилие метрик из штрафа в бонус»” (Григорий Засько, Лаборатория Прикладной Статистики, Т-Банк). Одна из идей доклада — использовать в тестах многомерные критерии, чтобы принимать решение не по изменению одной метрики, а по совокупности метрик. И “набор метрик как экосистемное изменение”. Вполне можно прикрутить к некоторым экспериментам в играх, мне кажется, так как у нас эксперименты нередко предполагают системное изменение поведения пользователя.

Второй интересный доклад — “Проксируй это: как использовать прокси-метрики умнее?” (Артем @gofat Ерохин, X5). Для меня это доклад про темы “подумать попозже” (особенно в части про causal inference), так как в моей работе прокси достаточно примитивные (воронка боев как прокси к ретеншену) и без какого-то глубокого осмысления и манипуляций. Зато вроде бы придумал, почему один из наших эксперментов оказался неудачен — кажется, мы напоролись на то, что называют законом Гудхарда — “Когда мера становится целью, она перестает быть хорошей мерой”. Мы пытались манипулировать прокси-метрикой, чтобы изменить целевую метрику и у нас (закономерно по Гудхарду) ничего не получилось. Скорее всего причины, почему именно не получилось у нас, лежат гораздо глуже. Но в первом приближении все равно неплохая интерпретация.

В общем, ходить на конференции полезно, в который раз убеждаюсь. Если даже не сами доклады, то некоторые решения в них или реплики в кулуарах наталкивают на новые идеи.

❤15👍8

www.tgoop.com/diceanalytics/172

1.68K viewsedited  Jun 28 at 12:18

Внезапно прошел уже месяц с AHA25. Можно, наконец, как честному слоупоку, поговорить про впечатления.

Программа оставила смешанные впечатления. Пропал блок по поведенческой экономике, появился блок по здоровью, чекапам и прочему. Очень много про AI / LLM, притом не с точки зрения продуктовой аналитики, а в продуктовых или маркетинговых задачах.

Из чисто аналитических инсайтов — и в кулуарах, и в докладах регулярно звучали реплики про “мы собираем 100500 метрик”. Конечно, какие-то метрики для ui, какие-то — по сегментам, но все равно. Сколько слышу, каждый раз поражает. Но одновременно задумался — может, и нам стоит больше метрик придумать/использовать?

Больше всего понравились два доклада. Тоже про метрики. Здесь можно посмотреть аннотации докладов.

Первый — “От cuped к mutlti-cuped: больше метрик — больше решений, или как мы превратили обилие метрик из штрафа в бонус»” (Григорий Засько, Лаборатория Прикладной Статистики, Т-Банк). Одна из идей доклада — использовать в тестах многомерные критерии, чтобы принимать решение не по изменению одной метрики, а по совокупности метрик. И “набор метрик как экосистемное изменение”. Вполне можно прикрутить к некоторым экспериментам в играх, мне кажется, так как у нас эксперименты нередко предполагают системное изменение поведения пользователя.

Второй интересный доклад — “Проксируй это: как использовать прокси-метрики умнее?” (Артем @gofat Ерохин, X5). Для меня это доклад про темы “подумать попозже” (особенно в части про causal inference), так как в моей работе прокси достаточно примитивные (воронка боев как прокси к ретеншену) и без какого-то глубокого осмысления и манипуляций. Зато вроде бы придумал, почему один из наших эксперментов оказался неудачен — кажется, мы напоролись на то, что называют законом Гудхарда — “Когда мера становится целью, она перестает быть хорошей мерой”. Мы пытались манипулировать прокси-метрикой, чтобы изменить целевую метрику и у нас (закономерно по Гудхарду) ничего не получилось. Скорее всего причины, почему именно не получилось у нас, лежат гораздо глуже. Но в первом приближении все равно неплохая интерпретация.

В общем, ходить на конференции полезно, в который раз убеждаюсь. Если даже не сами доклады, то некоторые решения в них или реплики в кулуарах наталкивают на новые идеи.

BY аналитика на кубах