Зачем вообще я его проводил В разные моменты карьеры мне посчастливилось заниматься всеми перечисленными задачами: многими своими руками, другими - в рамках задач моих подразделений. Это привело к тому, что я давно хотел сделать достаточно исчерпывающий курс по приложениям ML в бизнесе. Мы с Никитой Зелинским (CDS из Big Data МТС) провели первый такой курс весной в МФТИ и ВШЭ и сейчас готовим к запуску адаптированную версию у нас в школе MLinside.
Но одно дело наполнить курс на основе своего опыта и ранжирования задач по экономическому эффекту для бизнеса, и совершенно другое - узнать, а какие задачи ML видят вокруг люди. И здесь было несколько интересных открытий.
Больше денег - меньше хайпа Самой редко вспоминаемой оказалась история про оптимизацию затрат, которая часто приносит огромный эффект в деньгах. Например, если у вас есть бюджет в 5, 10, 50, 100 млрд рублей в год на расширение сети магазинов в ритейле, базовых станций в телекоме, банкоматов в банке, оптимизация на несколько процентов уже дает огромный эффект в абсолюте.
Работает это так: вы строите модель, которая прогнозирует эффект, а дальше решаете задачу оптимизации поверх этих прогнозов. Иногда оптимизация простая часть и решение строится жадным алгоритмом, а иногда требуется что-то посложнее, но прогнозная модель в основе решения как правило остается. Самые дотошные могут заметить, что сравнивать эффект нужно не с отсутствием оптимизации, а с оптимизацией без ML, но даже так эффекты остаются большими за счет масштаба задачи.
Много хайпа - не очень много денег Чаще всего вспоминали рекомендательные системы и поиск. В случае с поиском есть конечно небольшое количество компаний в мире, которые нашли там сверхприбыли (и то за счет рекламы), для остальных же поиск не сильно денежная вещь в плане эффектов. Что касается рекомендаций, то даже обожаемый всеми Netflix никогда не репортил публично (на моей памяти, буду рад, если кто-то поправит) эффект от рекомендаций больше 4% от своей выручки. На практике же даже в ритейле подтвержденный A/B тестами эффект в 1-2% на количество покупок и отсутствие статзначимого эффекта на выручку - вполне стандартная история. Конечно, если посчитать какой-нибудь last-click/first-click без учета каннибализации, элементарно нарисовать двузначные эффекты в процентах, а без А/В или с «грамотно организованным» вообще можно показать любые числа. Одна проблема - бизнес больше зарабатывать от этих упражнений в счете не станет.
В чем же секрет популярности рекомендательных систем? Я думаю в том, что мы любим делать то, что любим, а не то, что больше всего надо. В рекомендациях есть где развернуться - тут вам и матричные разложения, и факторизационные машины, и бустинги, и сетки, и reinforcement learning, да и A/B сразу надо учиться быстро проводить. Короче, очень интересно. Не буду отрицать, что я бы сам из всего перечисленного выбрал бы заниматься рекомендациями (и часто выбирал :)). Но к определенному перекосу в восприятии эффектов Data Scientist’ами развитость рекомендательных систем точно приводит.
Опять же, самые дотошные скажут, что таргетирование рекламы это те же рекомендации с правильным взвешиванием, и будут правы. Так что конечно получить большие эффекты можно, но на масштабах всего CRM в компании или в рекламном бизнесе.
Еще одно очень важное наблюдение: рекомендации в контентных сервисах это то, без чего сейчас не получится быть конкурентоспособным. В наше время это базовый инструмент взаимодействия с контентом наряду с поиском, поэтому тут хороший вопрос, что считать эффектом, когда весь бизнес без хороших рекомендаций становится бессмысленным. Ну представьте TikTok без рекомендаций - шляпа какая-то :) Так что с рекомендациями и поиском все сложно: вроде если попытаться посчитать, получается совсем не восторг, а если подумать, часто без них и вообще нельзя.
С остальными задачами тоже есть, что обсудить, но эти поля слишком узки, и кажется я уже приближаюсь к лимиту на длину поста
Зачем вообще я его проводил В разные моменты карьеры мне посчастливилось заниматься всеми перечисленными задачами: многими своими руками, другими - в рамках задач моих подразделений. Это привело к тому, что я давно хотел сделать достаточно исчерпывающий курс по приложениям ML в бизнесе. Мы с Никитой Зелинским (CDS из Big Data МТС) провели первый такой курс весной в МФТИ и ВШЭ и сейчас готовим к запуску адаптированную версию у нас в школе MLinside.
Но одно дело наполнить курс на основе своего опыта и ранжирования задач по экономическому эффекту для бизнеса, и совершенно другое - узнать, а какие задачи ML видят вокруг люди. И здесь было несколько интересных открытий.
Больше денег - меньше хайпа Самой редко вспоминаемой оказалась история про оптимизацию затрат, которая часто приносит огромный эффект в деньгах. Например, если у вас есть бюджет в 5, 10, 50, 100 млрд рублей в год на расширение сети магазинов в ритейле, базовых станций в телекоме, банкоматов в банке, оптимизация на несколько процентов уже дает огромный эффект в абсолюте.
Работает это так: вы строите модель, которая прогнозирует эффект, а дальше решаете задачу оптимизации поверх этих прогнозов. Иногда оптимизация простая часть и решение строится жадным алгоритмом, а иногда требуется что-то посложнее, но прогнозная модель в основе решения как правило остается. Самые дотошные могут заметить, что сравнивать эффект нужно не с отсутствием оптимизации, а с оптимизацией без ML, но даже так эффекты остаются большими за счет масштаба задачи.
Много хайпа - не очень много денег Чаще всего вспоминали рекомендательные системы и поиск. В случае с поиском есть конечно небольшое количество компаний в мире, которые нашли там сверхприбыли (и то за счет рекламы), для остальных же поиск не сильно денежная вещь в плане эффектов. Что касается рекомендаций, то даже обожаемый всеми Netflix никогда не репортил публично (на моей памяти, буду рад, если кто-то поправит) эффект от рекомендаций больше 4% от своей выручки. На практике же даже в ритейле подтвержденный A/B тестами эффект в 1-2% на количество покупок и отсутствие статзначимого эффекта на выручку - вполне стандартная история. Конечно, если посчитать какой-нибудь last-click/first-click без учета каннибализации, элементарно нарисовать двузначные эффекты в процентах, а без А/В или с «грамотно организованным» вообще можно показать любые числа. Одна проблема - бизнес больше зарабатывать от этих упражнений в счете не станет.
В чем же секрет популярности рекомендательных систем? Я думаю в том, что мы любим делать то, что любим, а не то, что больше всего надо. В рекомендациях есть где развернуться - тут вам и матричные разложения, и факторизационные машины, и бустинги, и сетки, и reinforcement learning, да и A/B сразу надо учиться быстро проводить. Короче, очень интересно. Не буду отрицать, что я бы сам из всего перечисленного выбрал бы заниматься рекомендациями (и часто выбирал :)). Но к определенному перекосу в восприятии эффектов Data Scientist’ами развитость рекомендательных систем точно приводит.
Опять же, самые дотошные скажут, что таргетирование рекламы это те же рекомендации с правильным взвешиванием, и будут правы. Так что конечно получить большие эффекты можно, но на масштабах всего CRM в компании или в рекламном бизнесе.
Еще одно очень важное наблюдение: рекомендации в контентных сервисах это то, без чего сейчас не получится быть конкурентоспособным. В наше время это базовый инструмент взаимодействия с контентом наряду с поиском, поэтому тут хороший вопрос, что считать эффектом, когда весь бизнес без хороших рекомендаций становится бессмысленным. Ну представьте TikTok без рекомендаций - шляпа какая-то :) Так что с рекомендациями и поиском все сложно: вроде если попытаться посчитать, получается совсем не восторг, а если подумать, часто без них и вообще нельзя.
С остальными задачами тоже есть, что обсудить, но эти поля слишком узки, и кажется я уже приближаюсь к лимиту на длину поста
To delete a channel with over 1,000 subscribers, you need to contact user support The channel also called on people to turn out for illegal assemblies and listed the things that participants should bring along with them, showing prior planning was in the works for riots. The messages also incited people to hurl toxic gas bombs at police and MTR stations, he added. A new window will come up. Enter your channel name and bio. (See the character limits above.) Click “Create.” With the sharp downturn in the crypto market, yelling has become a coping mechanism for many crypto traders. This screaming therapy became popular after the surge of Goblintown Ethereum NFTs at the end of May or early June. Here, holders made incoherent groaning sounds in late-night Twitter spaces. They also role-played as urine-loving Goblin creatures. A Hong Kong protester with a petrol bomb. File photo: Dylan Hollingsworth/HKFP.
from us
