📌 Ответы на вопросы и задачу с собеседований

1️⃣ Как оценить переобучение без тестовой выборки?

1. С помощью кросс-валидации - если метрики сильно меняются между фолдами, то скорее всего мы переобучились.
2. По разнице между значениями метрик и лосс-функции на train и validation датасетах. Ошибка на validation сильно больше чем на train, значит есть переобучение. Если на train ошибка тоже большая, значит недообучение.
3. Посмотреть насколько “уверенно” предсказывает наша модель - большие значения могут свидетельствовать о переобучении.

2️⃣ Как быть, если у модели высокий precision, но низкий recall, а заказчик хочет наоборот — максимум охвата, даже ценой ложных срабатываний?

Главное — понимать, какая цена у ложноположительных и ложноотрицательных ошибок в задаче, в зависимости от этого мы можем делать трейдофф между precision и recall-ом следующими способами:

1. Самоё лёгкое решение - понизить порог классификации, допустим раньше объект с предсказанием модели 0.5 и выше определялся как положительный класс, а теперь сделать порог 0.3, а не 0.5. Выбрать новый порог можно построив PR-кривую.
2. Решения посложнее - изменить функцию потерь, чтобы сильнее наказывать пропущенные положительные примеры, в современных моделях градиентного бустинга (CatBoost, XGBoost) можно придать больший вес классу гиперпараметром. Сделать больше сэмплов положительного класса, даже с помощью oversampling-а (используя SMOTE, sklearn, data augmentations)
3. Ещё более сложный, но работающий вариант - сделать ансамбль моделей, где одна будет ловить всё, что может быть положительным классом

3️⃣ Чему будет равен ROC-AUC для следующих данных и предсказаний?

Истинная метка:
1 0 1 1 0
Предсказание модели - метка:
1 1 1 0 0
Предсказание модели - число:
0.9 0.8 0.7 0.4 0.3

Ответ - 0.667. Как легко посчитать - мини-гайд от Дьяконова
〰️〰️〰️〰️〰️〰️〰️〰️〰️
Автор: Александр Дубейковский, специалист по ML, ex-Yandex

#собеседование

💬Прошли демо-курс «База ML» на Stepik? Поделитесь впечатлениями!

В декабре мы открыли доступ к демо-версии нашего курса «База ML» на платформе Stepik, чтобы каждый мог оценить подачу материала, подход преподавателей и структуру обучения.

Если вы уже прошли демо-курс, нам важно узнать:
🔵Что было особенно полезно?
🔵Какие темы зашли лучше всего?
🔵Насколько удобно было проходить материалы?

📌 Будем признательны за ваш отзыв прямо на Stepik. Это поможет другим студентам принять решение, а нам продолжать улучшать курс и развивать культуру качественного обучения.

Демо-курс — это возможность познакомиться с ML на практике и оценить формат обучения в MLinside.

Если вы еще не проходили наш демо-курс — самое время начать!

👉 Ссылка на курс

Спасибо, что развиваетесь вместе с MLinside! Ваш отзыв поможет нам расти и становится еще лучше 🌟

▶️ На нашем YouTube-канале вышло интервью с Константином Чукреевым — Growth Product Lead в Manychat, ранее работал в Яндекс Лавке, где за короткий срок прошел путь от ML-разработчика до продакт менеджера уровня Middle+.

Константин рассказывает:
▪️ Как он переходил из аналитики и ML в продакт-менеджмент.
▪️ Какие задачи решал в Яндексе и Manychat.
▪️ Какие навыки нужны продактам и ML-специалистам для развития.
▪️Советы молодым специалистам по Data Science и ML
▪️ Будущее чатботов с ИИ и перспективы AI через 5–10 лет.
▪️ Как делать карьерный переход и кому стоит идти в продакт-менеджмент

🎯 Интервью для тех, кто хочет развиваться на стыке ML, аналитики и продукта.

🔥Спойлер: если вы хотите курс от MLinside и Константина специально для продакт-менеджеров — обязательно посмотрите это интервью!

👉 Смотреть здесь

⚠️Приглашаем на наш вебинар!

У нас отличная новость — совсем скоро мы проведем mock-собеседование на позицию junior ML специалиста! У вас будет возможность задавать вопросы в ходе вебинара, проверить свои знания и готовность пройти собеседование или просто узнать о том, как проходят такие интервью и какие вопросы задают.

🗓️ Когда: 28 мая (среда), 19:00 (МСК)

Собеседование будет вести Виктор Кантор — основатель MLinside, эксперт по Big Data и AI, бывший Chief Data Officer МТС и Chief Data Scientist Яндекс.Такси

В роли кандидата — Илья Кустов, выпускник первого потока курса «База ML» и инженер в государственном учреждении. Илья решил сменить направление, потому что верит, что искусственный интеллект — это будущее человечества. Его привлекает работа с аналитической обработкой данных и точными науками, а также желание развиваться и расти в новой для себя сфере.

📚 Вебинар покажет, каких результатов можно добиться после обучения на курсе «База ML» и насколько он помогает подготовиться к реальным собеседованиям.

🔗 Регистрируйтесь по ссылке

📌 Ответы на вопросы с собеседований

1️⃣ В чём разница между следующими методами ансамблирования моделей: стэкинг и бустинг?

Бэггинг (bagging) обучает много моделей независимо друг от друга на разных подвыборках и усредняет результат — он снижает дисперсию (variance), не сильно влияя на смещение (bias).

Бустинг (boosting) обучает модели последовательно, каждая исправляет ошибки предыдущих — он снижаетсмещение (bias), но может увеличить дисперсию, особенно если переобучиться.

2️⃣ В каких случаях увеличение количества данных для обучения не поможет избежать переобучения?

Увеличение количества данных не поможет избежать переобучения, если модель слишком сложная для решаемой задачи — тогда она всё равно может подгонять шум в данных. Также, если новые данные не добавляют разнообразия (например, они из той же выборки и не покрывают новые случаи), переобучение сохранится. Кроме того, если данные остаются с теми же ошибками, увеличение объёма не решит проблему.

3️⃣ Что такое прунинг деревьев? Зачем он нужен, и какие виды есть?

Прунинг (обрезка) деревьев — это удаление лишних ветвей дерева, чтобы уменьшить переобучение и улучшить обобщающую способность модели.

Он нужен, потому что полностью выросшее дерево может подгоняться под шум и детали обучающей выборки.

Виды прунинга:

- Pre-pruning (ранняя остановка) — остановка роста дерева при достижении условий (например, макс. глубина, мин. число объектов в узле).
- Post-pruning (пост-обрезка) — сначала строится полное дерево, потом лишние ветви удаляются на основе кросс-валидации или прироста качества.

〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️
Автор: Александр Дубейковский, специалист по ML, ex-Yandex

#собеседование

‼️Не упустите шанс — вебинар уже завтра!

Завтра, 28 мая в 19:00 (МСК), мы проведём mock-собеседование на Junior ML специалиста — уникальная возможность увидеть, как проходят настоящие собеседования, получить ценные инсайты и проверить свою готовность.

Собеседование будет вести Виктор Кантор — основатель MLinside, эксперт по Big Data и AI, бывший Chief Data Officer МТС и Chief Data Scientist Яндекс.Такси.

В качестве кандидата выступит Илья Кустов, выпускник первого потока курса «База ML» и инженер в госучреждении.

⏳ Регистрируйтесь сейчас и готовьтесь к настоящим собеседованиям с уверенностью!

🔗 Ссылка на регистрацию

🔥 Продолжаем рубрику “Вопросы с собеседований”!

Сегодня снова делимся вопросами, которые могут встретиться во время интервью на ML-позиции.

💬 Пишите свои ответы в комментариях, а наши ответы мы опубликуем в среду!

📌 Вопросы:

1️⃣ Как устроено/строится дерево решений?
2️⃣ Как оценить важность признаков?
3️⃣ Почему F1 метрика берёт именно среднее гармоническое от precision и recall, а не среднее, или среднее геометрическое к примеру?

📌Все прошлые вопросы в нашем канале ищите по хештегу #собеседование

📌 Ответы на вопросы с собеседований

1️⃣ Как устроено/строится дерево решений?

Дерево решений строится рекурсивно: на каждом шаге оно выбирает признак и порог, по которому лучше всего разделить данные, чтобы максимизировать "чистоту" разбиения (например, по информации, джини или снижению дисперсии).

Затем данные делятся на две части, и для каждой строятся поддеревья. Этот процесс продолжается до достижения заданной глубины, минимального количества объектов в узле или до тех пор, пока все объекты в узле не будут одного класса (для классификации).

2️⃣ Как оценить важность признаков?

Оценить важность признаков можно по-разному: в деревьях — по снижению импьюрити или permute importance, в линейных моделях — по коэффициентам. Но наиболее универсальный и надёжный метод — SHAP: он основан на теории игр, учитывает все взаимодействия, даёт как локальные, так и глобальные оценки и работает с любыми моделями. Лучше комбинировать несколько подходов для полноты картины.

3️⃣ Почему F1 метрика берёт именно среднее гармоническое от precision и recall, а не среднее, или среднее геометрическое к примеру?

F1 использует гармоническое среднее, потому что оно весьма строго наказывает дисбаланс между precision и recall: высокое значение возможно только если оба велики. Гармоническое среднее сильнее наказывает за перекос точности и полноты чем арифметическое или геометрическое средние, доказывается через неравенство Коши.

〰️〰️〰️〰️〰️〰️〰️〰️〰️
Автор: Александр Дубейковский, специалист по ML, ex-Yandex

#собеседование

🚀 Как работает градиентный спуск и почему он так важен?

🎯 1. Что такое функция потерь и зачем она нужна?
Когда мы обучаем модель (например, нейросеть), она делает предсказания. Чтобы понять, насколько они точные, мы используем функцию потерь, которая показывает, насколько сильно модель ошибается. Наша цель — минимизировать эту ошибку.

🤔 2. Почему напрямую найти минимум сложно?
Функция потерь зависит от множества параметров модели (весов). Эту функцию потерь можно нарисовать на многомерном графике, тогда у нас получится гиперплоскость, с количеством координат равным количеству параметров модели. Найти самую низкую точку (минимум) на этой гиперплоскости вычислительно тяжёлая задача.

🔍 3. Что такое антиградиент?
Антиградиент в точке гиперплоскости — это вектор, противоположный градиенту, указывающий направление наибыстрейшего убывания функции потерь.

⬇️ 4. Как работает градиентный спуск?
Градиентный спуск — это метод, который шаг за шагом движется в сторону антиградиента. Каждый шаг — это обновление параметров модели (наших координат для графика функции потерь), которое приближает нас к минимуму функции потерь. Новые значения координат дают нам новые значения весов.

⚡️ 5. Почему шаг обучения (learning rate) важен?
Если шаг слишком большой — мы можем «перепрыгнуть» минимум. Если слишком маленький — обучение будет очень медленным.

🚀 6. Почему градиентный спуск важен?
Градиентный спуск обеспечивает стабильное движение к оптимальным решениям и делает обучение масштабируемым и управляемым. С его помощью тренируют все современные глубокие нейросети, и даже базовые модели МЛ.

〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️
Автор: Александр Дубейковский, специалист по ML, ex-Yandex