Kantor.AI

Мы так однажды с Никитой (автором поста ниже) поспорили, как считать в рекомендациях precision@k, когда кандидатов меньше k. Никита топил за реализацию в катбусте, потому что читал исходники, а я топил за деление на k, потому что привык, что по графикам precision@k и recall@k можно базово прикинуть адекватное вашему случаю количество рекомендаций в блоке или найти проблему типа нехватки кандидатов: если в какой-то момент precision@k начинает сильно падать просто потому что вместо 5 рекомендаций у вас повально 2, это проще заметить.

В итоге, изучив другие источники, Никита, с нотками досады признал правильным мой вариант, хотя логика в катбустовой реализации конечно тоже понятна - не штрафовать, если лучше уже нельзя было отранжировать. И если честно, я бы не был здесь так категоричен в вопросе «как правильно». Смотря чего вы хотите: включать измерение качества кандидатов в метрику или нет. Но главное, что так мы с Никитой узнали, что нам есть о чем поговорить, кроме слайдов в Power Point, и это было прекрасно :)))

www.tgoop.com/kantor_ai/388

6.3K viewsedited  Dec 24, 2024 at 13:40

Мы так однажды с Никитой (автором поста ниже) поспорили, как считать в рекомендациях precision@k, когда кандидатов меньше k. Никита топил за реализацию в катбусте, потому что читал исходники, а я топил за деление на k, потому что привык, что по графикам precision@k и recall@k можно базово прикинуть адекватное вашему случаю количество рекомендаций в блоке или найти проблему типа нехватки кандидатов: если в какой-то момент precision@k начинает сильно падать просто потому что вместо 5 рекомендаций у вас повально 2, это проще заметить.

В итоге, изучив другие источники, Никита, с нотками досады признал правильным мой вариант, хотя логика в катбустовой реализации конечно тоже понятна - не штрафовать, если лучше уже нельзя было отранжировать. И если честно, я бы не был здесь так категоричен в вопросе «как правильно». Смотря чего вы хотите: включать измерение качества кандидатов в метрику или нет. Но главное, что так мы с Никитой узнали, что нам есть о чем поговорить, кроме слайдов в Power Point, и это было прекрасно :)))

BY Kantor.AI