аналитика на кубах

В ODS#analytics пробежал хороший вопрос, перескажу его и коментарии. "Что делать, когда мы хотим в аб-тесте оценить влияние фичи на монетизацию, но знаем, что даже в тестовой группе ею воспользуются не все". Стандартный подход -- сравниваем тест и контроль, смотрим аплифт и разницу, и оцениваем значимость различий. Ребята в комментариях предлагают еще два решения. Первое -- триггеринг, то есть определить параметры и выбрать минимальную подгруппу, которая потенциально может воспользоваться фичей. Второй вариант -- матчинг. В тестовой группе по параметрам пользователя учимся определять, воспользуется ли он фичей, а потом в контрольной группе фильтруем тех, кто вероятнее всего воспользовался бы фичей, если бы попал в тестовую группу, и уже эти группы сравниваем.

Подходы любопытные, на мой взгляд. Как минимум можно лучше оценить небольшие колебания (если вдруг мы ищем небольшой продуктовый эффект фичи). Однако они не контролируют каннибализацию, в результате эффект может быть завышенным или вообще ложным. Что, в свою очередь, накладывает ограничения на применимость подобных дизайнов. Так, я сейчас не очень представляю их использование в аналитике офферов, когда есть сложная игровая экономика и мириад конкурирущих между собой предложений.

www.tgoop.com/diceanalytics/6

225 viewsPhilipp Upravitelev, edited  May 7, 2022 at 11:50

В ODS#analytics пробежал хороший вопрос, перескажу его и коментарии. "Что делать, когда мы хотим в аб-тесте оценить влияние фичи на монетизацию, но знаем, что даже в тестовой группе ею воспользуются не все". Стандартный подход -- сравниваем тест и контроль, смотрим аплифт и разницу, и оцениваем значимость различий. Ребята в комментариях предлагают еще два решения. Первое -- триггеринг, то есть определить параметры и выбрать минимальную подгруппу, которая потенциально может воспользоваться фичей. Второй вариант -- матчинг. В тестовой группе по параметрам пользователя учимся определять, воспользуется ли он фичей, а потом в контрольной группе фильтруем тех, кто вероятнее всего воспользовался бы фичей, если бы попал в тестовую группу, и уже эти группы сравниваем.

Подходы любопытные, на мой взгляд. Как минимум можно лучше оценить небольшие колебания (если вдруг мы ищем небольшой продуктовый эффект фичи). Однако они не контролируют каннибализацию, в результате эффект может быть завышенным или вообще ложным. Что, в свою очередь, накладывает ограничения на применимость подобных дизайнов. Так, я сейчас не очень представляю их использование в аналитике офферов, когда есть сложная игровая экономика и мириад конкурирущих между собой предложений.

BY аналитика на кубах