tgoop.com/stats_for_science/135
Last Update:
История A/B тестирования: первые тесты в бигтехе
Продолжаем разбирать историю A/B тестов — начало в этом посте.
Сегодня рассмотрим первопроходцев A/B в современном понимании. Точно сказать, какой именно тест был самым первым, нельзя, но ранние примеры приходятся на начало 2000-х:
Amazon позиционирует себя как data-driven компания, где тестируют самые минимальные изменения интерфейса. Уже в 2004 году Рон Кохави представил доклад об их тестах.
Грег Линден предложил показывать персональные рекомендации на этапе чекаута ("Похожие товары" перед оплатой). Старший вице-президент по маркетингу был категорически против, опасаясь, что это отвлечет пользователей от покупки и снизит продажи.
Однако Линден все равно запустил A/B тест, в котором вариант с рекомендациями победил с таким отрывом, что отказ от этой идеи стоил бы Amazon миллионы долларов.
Первый A/B тест провели в начале 2000х годов. UX-исследования показывали, что пользователи хотят видеть больше результатов поиска на странице: 20 лучше чем 10, 25 ещё лучше, 30 — идеально. Google провел A/B тест: в экспериментальной группе пользователям показывали 30 результатов поиска на одной странице.
Трафик в экспериментальной группе упал на 25% менее чем за шесть недель. Сотрудники задумались, почему это произошло. Одним из вариантов был парадокс выбора, когда пользователи из-за слишком большого количества вариантов не могут решить, что им выбрать.
Однако разгадка оказалась проста: скорость. Страницы с 30 результатами грузились дольше в среднем на 0.5 секунды, и этого оказалось достаточно, чтобы серьезно ухудшить пользовательский опыт, что повлекло за собой падение трафика и выручки. В результате Google остановился на 10 результатах поиска в выдаче, и это число используется до сих пор.
Сотрудник Bing предложил удлинить заголовки рекламы, добавив к ним первую строчку описания: группа A — короткий заголовок (Купить iPhone), группа B — длинный (Купить iPhone 5 с гарантией и доставкой). Идея казалась незначительной и полгода пылилась в бэклоге (очереди задач разработки), пока разработчик не решил её протестировать. Через несколько часов после старта теста сработал "revenue-too-high alert" — новый формат оказался "слишком хорош", подняв выручку на невероятные 12%. Это принесло Bing более $100M годового дохода в США, не ухудшив UX-метрики. Тест многократно повторяли, подтверждая результат (HBR, 2017).
Тестировали обложки фильмов: группа A — стандартные постеры, группа B — персонализированные. Например, для фильма "Умница Уилл Хантинг" любителям романтики показывали кадры с Мэттом Дэймоном и Минни Драйвер, а фанатам комедий — с Робином Уильямсом, известным комиком. A/B тест показал, что персонализированные обложки значительно увеличили вовлечённость и персонализация стала стандартом Netflix (Netflix Tech Blog, 2017).
А вы замечали, что попали в A/B тест? Я недавно заметила, что я не попала в тестовую группу, когда у коллег изменился интерфейс гугл мита, а у меня нет. Однако примерно через неделю это изменение интерфейса доехало и до меня.
#AB_tests #analytics