tgoop.com/stats_for_science/149
Last Update:
Отзыв о книге “Доверительное A/B тестирование” и фейлы перевода
Недавно дочитала эту книгу (в основном в переводе, но сверяясь с оригиналом). Книга очень крутая, настоящий must have для продуктовых аналитиков и продакт-менеджеров. Авторы буквально основатели A/B-тестирования в том виде, в каком мы его знаем.
Самые интересные и полезные темы для меня:
1. Введение, актуально не только для аналитиков, так как позволяет больше понять, почему не у всех бывает одинаковым интерфейс сайтов 😏
2. Этика A/B экспериментов, важная тема, которую мало обсуждают на курсах и в телеграм-каналах. Возможно, распишу про это подробнее в отдельном посте.
3. Про t-test и необходимо ли для него нормальное распределение выборки разобрано корректно, лучше чем в некоторых статистических пособиях. Более подробно про это была лекция от Института Биоинформатики.
4. Подводные камни A/B тестирования и способы их избежать: Sample Ratio Mismatch, сетевой эффект, парадокс Симпсона, необходимость A/A тестов и не только. Эти темы сейчас кажутся базовыми, так как много внимания уделяется на курсах, но во многом курсы и вдохновлены этой книгой.
5. Другие варианты экспериментов, когда A/B невозможен: Diff-in-Diff, interrupted time series и тд, неплохой обзор методов, но для глубокого изучения нужны дополнительные источники.
Еще мне было интересно почитать про историческое развитие метода, я даже вдохновилась написать про историю A/B задолго до появления интернета и бигтехов и первые A/B тесты в индустрии.
Но к сожалению перевод на русский от издательства ДМК Пресс оставляет желать лучшего.
Примеры ошибок в переводе:
– логи данных → данные журналов
– логарифмическое преобразование → преобразование журнала
– нулевая гипотеза → гипотеза нулевого значения или гипотеза о нуле
– статистически значимая разница → значительная разница (вот это по-моему одна из самых критичных ошибок)
– и множество мелких неточностей
В принципе в большинстве случаев понятно, о чем идет речь, плюс всегда можно посмотреть оригинал, тем не менее, такие ляпы затрудняют восприятие текста и вызывают недоверие к переводу.
Я бы рекомендовала читать книгу тем, кто хочет подтянуть именно продуктовую и методологическую часть A/B тестирования и повысить насмотренность. Но лучше иметь хороший бэкграунд в статистике и теории вероятностей, все-таки это не статистика и котики)
Пишите в комментариях, какие из вышеперечисленых тем хотелось бы разобрать подробнее!
#analytics #AB_tests
BY Статистика и R в науке и аналитике
Share with your friend now:
tgoop.com/stats_for_science/149