Библиотека собеса по Data Science | вопросы с собеседований

💬 Как инициализировать параметры в логистической регрессии, и важно ли это

Частый вариант: веса
𝑤
w инициализируют нулями или малыми случайными значениями.

🔎 Почему работает: отрицательный логарифм правдоподобия в логистической регрессии — выпуклая функция, поэтому оптимизация сходится к глобальному минимуму независимо от стартовой точки.

🔎 Когда стоит подумать о случайной инициализации: при огромном числе признаков или сильно скоррелированных признаках случайная инициализация может помочь избежать вырожденных конфигураций.

🙂 Для стандартных задач нулевая инициализация чаще всего достаточно хороша; проблем с глобальным минимумом не возникает.

🐸 Библиотека собеса по Data Science

Please open Telegram to view this post

VIEW IN TELEGRAM

👍2❤1

www.tgoop.com/ds_interview_lib/1186

595 viewsSep 25 at 19:23

💬 Как инициализировать параметры в логистической регрессии, и важно ли это

Частый вариант: веса
𝑤
w инициализируют нулями или малыми случайными значениями.

🔎 Почему работает: отрицательный логарифм правдоподобия в логистической регрессии — выпуклая функция, поэтому оптимизация сходится к глобальному минимуму независимо от стартовой точки.

🔎 Когда стоит подумать о случайной инициализации: при огромном числе признаков или сильно скоррелированных признаках случайная инициализация может помочь избежать вырожденных конфигураций.

🙂 Для стандартных задач нулевая инициализация чаще всего достаточно хороша; проблем с глобальным минимумом не возникает.

🐸 Библиотека собеса по Data Science