tgoop.com/product_gamedev/336
Last Update:
Сегодняшний материал будет про эксперименты, а именно про альтеранитиву A/B тестам в некоторых случаях - байесовских многоруких бандитов. Необходимость в данном подходе во многом связана с тем, что при обычном A/B мы льем большие объемы трафика на неоптимальные варианты и теряем в доходе и пользователях во время эксперимента. Многорукий бандит отлично подходит для случая, когда нужно проверить эффективность большой подборки вариантов, которые не имеют серьезного принципиального отличия. К примеру синяя, желтая и зеленая кнопка в акционном предложении.
Краткая суть: мы берём к примеру 3 варианта кнопки и предполагаем что по ним кликнули 1 из 1 раза. То есть эффективность каждой 100%. Затем мы показываем первую кнопку до тех пор, пока не найдется пользователь, который не нажмёт. Тогда эффективность двух других будет выше и мы будем показывать одну из них.
В итоге при длительном тесте получится, что большая часть пользователей видит самый эффективный вариант и во время эксперимента мы получаем более эффективное использование аудитории.
Для того, чтобы повысить устойчивость алгоритма в случае выбросов мы всегда отправляем небольшую часть пользователей в потенциально более слабые варианты, чтобы если они были выбраны слабыми ошибочно, дать им шанс реабилитироваться.
Данный функционал не заменяет собой A/B, но позволяет оптимизировать некоторую часть тестов. Если заинтересовал - больше информации можно найти по ссылкам ниже.
Описание алгоритма: простое на англ: http://stevehanov.ca/blog/index.php?id=132
подробное на русском: https://m.habr.com/ru/company/ods/blog/325416/comments/
Источник: https://lloydmelnick.com/
BY Product in Gamedev
Share with your friend now:
tgoop.com/product_gamedev/336