Библиотека собеса по Data Science | вопросы с собеседований

🤔 Что делать, если утечка данных (data leakage) обнаружена уже после вывода модели в прод

В такой ситуации нужно немедленно исключить утёкшие признаки из пайплайна и переобучить модель без них. Утечка данных приводит к завышенным офлайн-метрикам, поэтому все оценки нужно пересчитать заново. После переобучения важно убедиться, что модель действительно справляется с реальными данными, где этой информации нет.

Также необходимо:
— оценить, насколько широко была развернута утёкшая модель;
— при необходимости откатить (rollback) её или быстро заменить новой;
— в критичных системах иметь резервную/параллельную модель, которую можно включить на время расследования.

🐸 Библиотека собеса по Data Science

Please open Telegram to view this post

VIEW IN TELEGRAM

😁1

www.tgoop.com/ds_interview_lib/1126

576 viewsAug 18 at 18:07

🤔 Что делать, если утечка данных (data leakage) обнаружена уже после вывода модели в прод

В такой ситуации нужно немедленно исключить утёкшие признаки из пайплайна и переобучить модель без них. Утечка данных приводит к завышенным офлайн-метрикам, поэтому все оценки нужно пересчитать заново. После переобучения важно убедиться, что модель действительно справляется с реальными данными, где этой информации нет.

Также необходимо:
— оценить, насколько широко была развернута утёкшая модель;
— при необходимости откатить (rollback) её или быстро заменить новой;
— в критичных системах иметь резервную/параллельную модель, которую можно включить на время расследования.

🐸 Библиотека собеса по Data Science