tgoop.com/general_it_talks/984
Last Update:
Вилларибо и Виллабаджо
Олды помнят рекламу моющего средства, где в одной деревне мыли посуду одним гелем, в другой — другим и сравнивали.
Подводку к посту продолжаем бородатым анекдотом:
В Вилларибо у мужчин средняя длина члена 13 см, а в Виллабаджо — 23 см.
А всё потому, что в Вилларибо измеряли, а в Виллабаджо опрашивали.
Как вы, возможно, догадались, сегодня про всякие метрики, опросы, измерения и выводы из всего этого дела.
Вилларибо (измеряем)
По анекдоту кажется, что измерения — единственное, на что надо ориентироваться. Да и в работе тоже многие так думают. Выбирают метрики, строят графики, дашборды, отчитываются за растущие зеленые циферки и оправдываются из-за падающих красных.
В некоторой мере это правильно, цифры важны и нужны, но есть нюанс (тут обойдемся без анекдота).
Если измерение простое и однозначное, как в анекдоте, то, конечно, надо это измерять. Сколько раз упал прод, на какую сумму вы продали, сколько человек вы наняли.
Сложности начинаются тогда, когда:
- Нет никакой единой метрики, потому что процесс сложный, и комбинаторный взрыв его факторов не поддается разделению и анализу. Тогда придумывают какие-то прокси-метрики и ориентируются на них. Но беда в том, что можно неправильно их придумать и делать совершенно не то. Несколько раз я видел результаты многомиллионных проектов, которые улучшили все прокси-метрики, но в реальности лучше не стало.
- На эту метрику может влиять еще много других внешних действий, и тогда непонятно, как разделять, где ваши действия принесли успех, а где чужие?
- Все знают про эту метрику и её легко захачить. Послушайте хороший выпуск Бреслава и Ложечкина про это: https://www.tgoop.com/breslavandlozhechkin/36.
Виллабаджо (опрашиваем)
Иной раз опросы отражают более реальную картину. Например, прокси-метрика была неверно выбрана, или захачена, или её важность преувеличена. Тогда вы спрашиваете у людей на местах, и они вам сообщают реальную картину. Опять не обойдусь без анекдота.
- Специалисты говорят, что люди стали жить лучше.
- А люди утверждают, что ничего не ощущают.
- Но ведь они же не специалисты.
Но и тут есть нюансы:
- Намеренное искажение. В моей практике был случай, когда опрашивали людей и их руководителей, где они говорили, что у всех всё замечательно. Но потом выяснилось, что люди были на испытательном сроке и говорили, что всё замечательно (на мой взгляд, часть из этих ответов была вызвана опасением давать «неудобные» ответы), а руководителей спрашивали, как они сами работают (тут, как вы понимаете, сам себя не похвалишь, никто не похвалит).
- Субъективность. Кто-то излишне на чем-то сконцентрирован и драматизирует. А у кого-то нога такая же, но не болит.
Что же делать?
Никакого секретного секрета я в очередной раз не открою. Важно сочетать и те, и другие методы, чтобы видеть картину с разных сторон и вовремя детектить нестыковки.
Кажется, что это капитанство, но поверьте (или расскажите в комментариях свой опыт), я не раз встречал сильные перекосы в любую из этих двух сторон.
Итог
Повспоминали с вами сегодня олдовые анекдоты и поняли, что нужно и измерять, и опрашивать. А иной раз и вообще ничего делать не надо, если это не сильно важно и не болит. Но это уже совсем другая история.
BY Тимлид Очевидность | Евгений Антонов
Share with your friend now:
tgoop.com/general_it_talks/984