tgoop.com/artificial_stupid/181
Last Update:
#AB
Не бывает бесплатных А/Б тестов.
Да, именно так. Практически каждый А/Б тест чего-то, да стоит.
Не все это понимают, когда начинают гнаться за модным способом показать эффективность своей фичи/проекта/улучшения. Но проведение А/Б теста - это инвестиция в получение информации.
Нам нужно потратить силы на новую фичу или ее прототип, сделать инфраструктуру для проведения теста, провести дизайн эксперимента, а потом еще и проанализировать результаты. Все это выливается в человеко-часы.
Поэтому, стоит хотя бы примерно оценивать, стоит ли какой-либо эксперимент денег, потраченных на его проведение.
Например, ваше изменение предположительно будет приносить дополнительный 1 рубль с пользователя. У вас 10000 пользователей. Проведение эксперимента со всеми изменениями, подготовкой и анализом будет стоить 100000 рублей. Кажется, что инвестиция крайне невыгодная, верно?
Понятное дело, что реальный эффект не всегда совпадает с расчетным. Да и результаты иногда получаются весьма контринтуитивными. Но все же можно хотя бы примерно оценить "окупаемость" нашего А/Б теста, чтобы не стрелять из пушки по воробьям. А на сэкономленные ресурсы лучше провести более полезный тест (ну или работяг в бар сводить - авось продуктивность подрастет ;)).
BY Artificial stupidity
Share with your friend now:
tgoop.com/artificial_stupid/181