ML Advertising

Как A/B тестить, когда трафика мало? 🅰️🅱️

Допустим, с сайта/ приложения идут не миллионы пользователей и показов, а всего пара тысяч MAU, но АБтестировать фичи все равно надо. Разберем несколько лайфхаков

- Долгие тесты - плохая идея. Пока будем ждать стат. значимости, пройдет полгода, РК и трафик уже успеют поменяться

- Делаем больший упор на инсайты от рекламодателой. Вместо слепого следования CPM/ CPV, participation rate, media cost, опрашиваем рекламодателей. Они очень чутко реагируют на смену KPI, и по увеличенным/ уменьшенным бюджетам, сегментам пользователей можно косвенно определить, работает фича или нет

- Bayesian > Frequentist. Байесовская статистика быстрее дает результаты на малых выборках

- Не ленимся сегментировать пользователей. Иногда важнее сузить скоуп фичи и тестить внутри конкретных групп (например, только платящие, или только определенное гео, или только мобилки), чем пытаться разогнать общий трафик

В конечном итоге при низком трафике больше исследуем вторичные сигналы и делаем упор на сбор обратной связи извне платформы

Пример для случая InApp трафика разобран у RevenueCat

Revenuecat

Effective testing strategies for low-traffic apps

Low on traffic? Testing doesn’t have to stop. Explore smarter strategies beyond A/B tests to make confident app growth decisions.

www.tgoop.com/dsinsights/353

580 viewsedited  May 28 at 12:19

Как A/B тестить, когда трафика мало? 🅰️🅱️

Допустим, с сайта/ приложения идут не миллионы пользователей и показов, а всего пара тысяч MAU, но АБтестировать фичи все равно надо. Разберем несколько лайфхаков

- Долгие тесты - плохая идея. Пока будем ждать стат. значимости, пройдет полгода, РК и трафик уже успеют поменяться

- Делаем больший упор на инсайты от рекламодателой. Вместо слепого следования CPM/ CPV, participation rate, media cost, опрашиваем рекламодателей. Они очень чутко реагируют на смену KPI, и по увеличенным/ уменьшенным бюджетам, сегментам пользователей можно косвенно определить, работает фича или нет

- Bayesian > Frequentist. Байесовская статистика быстрее дает результаты на малых выборках

- Не ленимся сегментировать пользователей. Иногда важнее сузить скоуп фичи и тестить внутри конкретных групп (например, только платящие, или только определенное гео, или только мобилки), чем пытаться разогнать общий трафик

В конечном итоге при низком трафике больше исследуем вторичные сигналы и делаем упор на сбор обратной связи извне платформы

Пример для случая InApp трафика разобран у RevenueCat

BY ML Advertising