➡️ Почему модель может демонстрировать высокое качество на offline-валидации, но всё равно проваливаться в A/B-тесте
Одна из частых причин — разрыв между тем, что измеряется в offline-метрике, и реальной бизнес-целью. Например, модель может хорошо предсказывать вероятность клика, но при этом ухудшать пользовательский опыт или уменьшать выручку, если неправильно влияет на поведение системы в целом.
Также A/B-тест чувствителен к особенностям внедрения: может меняться порядок рекомендаций, контекст показа, или даже то, как пользователи взаимодействуют с продуктом, что невозможно учесть в offline-оценке.
Кроме того, в offline-е модель часто тестируется на исторических данных, в то время как A/B работает с живыми пользователями, в динамике.
Поэтому расхождение между offline и online — это не ошибка, а естественное проявление того, что модель — это часть более широкой системы.
➡️ Почему модель может демонстрировать высокое качество на offline-валидации, но всё равно проваливаться в A/B-тесте
Одна из частых причин — разрыв между тем, что измеряется в offline-метрике, и реальной бизнес-целью. Например, модель может хорошо предсказывать вероятность клика, но при этом ухудшать пользовательский опыт или уменьшать выручку, если неправильно влияет на поведение системы в целом.
Также A/B-тест чувствителен к особенностям внедрения: может меняться порядок рекомендаций, контекст показа, или даже то, как пользователи взаимодействуют с продуктом, что невозможно учесть в offline-оценке.
Кроме того, в offline-е модель часто тестируется на исторических данных, в то время как A/B работает с живыми пользователями, в динамике.
Поэтому расхождение между offline и online — это не ошибка, а естественное проявление того, что модель — это часть более широкой системы.
With the administration mulling over limiting access to doxxing groups, a prominent Telegram doxxing group apparently went on a "revenge spree." Activate up to 20 bots During a meeting with the president of the Supreme Electoral Court (TSE) on June 6, Telegram's Vice President Ilya Perekopsky announced the initiatives. According to the executive, Brazil is the first country in the world where Telegram is introducing the features, which could be expanded to other countries facing threats to democracy through the dissemination of false content. With the “Bear Market Screaming Therapy Group,” we’ve now transcended language. The channel also called on people to turn out for illegal assemblies and listed the things that participants should bring along with them, showing prior planning was in the works for riots. The messages also incited people to hurl toxic gas bombs at police and MTR stations, he added.
from us
