Warning: Undefined array key 0 in /var/www/tgoop/function.php on line 65

Warning: Trying to access array offset on value of type null in /var/www/tgoop/function.php on line 65
178 - Telegram Web
Telegram Web
Ладно, не СБЕР
133
Я одумался.
971👍1
И не Яндекс.
1362
Апрель 2023:
«Через 5 лет я буду Senior ML-Engineer»

Май 2024:
Пятилетка за один год

Осталось ток испытательный продержаться и чтоб не уволили 😁
346
ЛУЧШЕЕ ДЛЯ ИЗУЧЕНИЯ CLASSIC ML. ЛУЧШЕ НЕ НАЙДЕШЬ. ЭТО ВСЕ, ЧТО ТЕБЕ НУЖНО. БЕСПЛАТНО.

ROADMAP: КАК СТАТЬ УВЕРЕННЫМ DS И ПОЛУЧИТЬ СВОЙ ОФФЕР (1 / ?) 😳

БАЗА. БАЗА ее спрашивают всегда и везде. С нее и начнем.

Классическое машинное обучение - спрашивают везде, если ты подаешься на DS (Яндекс, Сбер, ВК, Авито, WB, Cloud.ru и прочие топовые компании)

Глубокое понимание этих вещей очень сильно упрощает жизнь, а также позволяет построить очень крепкий мост для Deep Learning и не ощущать дискомфорта в топовых отраслях: NLP, CV, RecSys и многое другое..

Классическое машинное обучение - это совокупность алгоритмов машинного обучения, метрик, как они красиво друг в друга перетекают, как одни методы - тесно связаны с другими. Это все БЕЗУМНО интересно при правильной подаче.

### ХВАТИТ. РАССКАЖИ УЖЕ КАК 🍴

Начнем по порядку. Ресурсы:

1. Лекции Жени Соколова— [ссылка]
2. Учебник от ШАД Яндекса — [ссылка]
3. Конспект — ПРИКРЕПЛЕН В ПОСТЕ [Потрачено более 80 часов]
4. GPT-4о.

### МОТИВАЦИЯ 😊

1. Курс Жени Соколова — я просмотрел огромное количество курсов и прочитал массу учебников. Этот курс — безусловно лучший на рынке, и он БЕСПЛАТНЫЙ.
2. Учебник ШАД Яндекса — идеален для более глубокого понимания математики. И просто офигенно дополняет Женю Соколова.
3. Мой конспект — невероятно важная часть: подходит как новичкам, так и тем, кто готовится к собеседованиям или хочет освежить свои знания. Он основан на лекциях Жени Соколова с авторскими дополнениями.

### КАК БОТАТЬ? ИНСТРУКЦИЯ 😳

1. Открываем лекции на YouTube Жени Соколова . Смотрим видосик.
2. Ищем эту тему в учебнике ШАД Яндекса (если ее нет - забиваем)
3. Параллельно задаем вопросы GPT-4o. Это ОЧЕНЬ ВАЖНО! Без него ты будешь черепахой.
4. Регулярно повторяем прошедшие лекции по КОНСПЕКТУ. Сравниваем, воспроизводим всё, что там написано красивым почерком.

И ВСЕ. БОЛЬШЕ ТЕБЕ НИЧЕГО НЕ НАДО. ЭТО ПОКРЫВАЕТ ВСЕ. ЕСЛИ У ТЕБЯ ХВАТАЕТ УМА, ДИСЦИПЛИНЫ И ЕСТЬ В КАРМАНЕ 2 ТЫСЯЧИ РУБЛЕЙ, ТО ТЕБЕ БОЛЬШЕ НИЧЕГО НЕ НАДО. ВСЁ.

ЭТО ЛУЧШЕЕ ЧТО ЕСТЬ. ЛУЧШЕ НЕ НАЙДЕШЬ. ПОВЕРЬ МНЕ

Поддержите пожалуйста этот пост макисмально реакциями, лайками, комментами, репостами и уточками. Это правда очень важно для нас 😘
Please open Telegram to view this post
VIEW IN TELEGRAM
931914👍77
Это - лучший ресурс для повторения, запоминания, усваивания материала по CLASSIC ML.

ЗДЕСЬ ПРЕКРАСНО ВСЕ:

-> структура материала и его качество (Cпасибо Жене Соколову, ШАД)

-> прекрасное оформление, красивый почерк
(Спасибо Нине Мельниковой)

Делимся постом. Ставим реакции. Распространяем.

На конспект потрачено более 80 часов. Все для вас
💘78211676👍4
😎
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
26👍8💘6
This media is not supported in your browser
VIEW IN TELEGRAM
11
ROADMAP: МАТЕМАТИКА ЭТО НЕ СЛОЖНО, ЕСЛИ ТЕБЕ ЕЕ ПРАВИЛЬНО ПРЕПОДАЮТ (2 / ?) 😳

Следующее, что вас ждет после классики ML на собесах / в жизни - матеша.

Сразу выделю два типа матеши:

1. Лайт-матеша, которую спрашивают на собесах.
2. Базовая матеша, которая требуется для более глубокого, лучшего, качественного понимания классик ML / DL (это буквально основы первых двух семестров бакалавриата).
3. Матеша для RnD (жесткий ресерч, глубокое изучение). Влезают под капот там, где не нужно, и вертят тем, чем до этого никто не вертел.

Этот пост сосредоточен на пунктах 1 и 2. 80% результата дают 20% усилий.

### РЕСУРСЫ

0. Для повторения матеши, для систематизации существующих знаний (если ты вдруг проспал первые два семестра матеши) - рекомендую начать с МАТЕМАТИКА ДЛЯ DS от karpov.courses (БЕСПЛАТНО).

1. Теорвер

а) Для собесов (обычные логические задачи на вероятность / формулу Байеса) - отличный задачник с теорией. (прям как симулятор, очень крутой и практичный. Как будто бы это 80% матеши на собесах, на которых я был)
ССЫЛКА НА ЗАДАЧНИК.

б) Основательный теорвер.
Для тех, кто хочет разбираться в статистических критериях, делать верные гипотезы и узнать фундамент науки. Преподает его ПРЕКРАСНЫЙ мужик из МФТИ, очень вдохновленно, очень понятно, очень доходчиво (бояться правда не надо, поверь мне). ССЫЛКА НА КУРС (БЕСПЛАТНО)

2. Мат.стат.

Куда же без практического мат. стата? АВИТО! Легендарный (как мне кажется) курс по стате от Авито. Очень годно и очень доступно. Да и бесплатно. Дает практическое понимание обо всём происходящем + по науке, конечно же.
ССЫЛКА НА КУРС

Многим знаком, многим любим - и вот он, мат.профи.
Гладко, наглядно, практично, понятно.- гладко, наглядно, практично, понятно. Зачем? Чтобы порешать более математические задачки, которые бывают на душных собесах.
ССЫЛКА НА КУРС

И чтобы быть уверенным орешком - решаем задачки на мат. ожидание / дисперсии (главы 5-7). Это немного, это четко, это быстро.
ССЫЛКА НА КНИЖКУ

### КАК ЭТО НОРМАЛЬНО ЗАБОТАТЬ? МНОГО ЖЕ.

0. Сначала математика для DS (просто базу сформировать)
1. Решаем задачи на простой теорвер из п.1 а) и весь мат.стат из п.2 (тихонько, повышаем сложность, развиваем мозг / ломаем его)
2. Если есть силы и желание - курс Райгородского из п.2 (для любителей и с горящими глазами)
3. Валидируем себя на задачках от GPT-4o на теорвер, особенно задачки с играми / стратегиями (очень любят на собесах)

### SUMMARY

На собесах 80% случаев (по моему опыту) спросят формулу Байеса / условной вероятности и/или дадут задачку на ее решение (для этого у нас есть п.1).

Также часто спрашивают про распределения и мат.стат (для этого у нас есть п.2).

Могут углубиться в алгоритмы классического машинного обучения (Читаем пост ранее).

И на этих знаниях заканчивается первые два собеса в том же Яндексе на классик-DS (на самом деле все намного сложнее / вариативнее, но для крепкой базы, для крепкого начала и дальнейшего определения конкретной области - это оооооочень крутая база)

Поддержите пожалуйста этот пост максимально реакциями, лайками, комментами, репостами и уточками. Это правда очень важно для нас 😘
Please open Telegram to view this post
VIEW IN TELEGRAM
10322👍1110421
This media is not supported in your browser
VIEW IN TELEGRAM
942
Был я вчера на Turbo ML-Conf от Т-банк на NLP секции.

Все доклады были оч суперские, на удивление.

И как раз на одном из докладов - опубликовали T-Lite (По-простому, GPT от Т-банка).
Я был удивлен, потому что ничего не предвщало беды и тут бам, опенсорс, ссылка на дропбокс / HF для скачивания модельки и везде попадали анонсы в тг-каналах.

Но технического репорта нет, только статья на хабре от посторонних людей (да и они не содержат никакой полезной инфы)

Сделаю пару забавных заметок из доклада:

1) Модель без цензуры [просто ссылка на модель HF] на нормальном русском (да здравствуют порно-рассказы!)

2) За основу взяли opensource модель LLama-3

3) Докинули русскоязычных текстов + английских (чтобы не деградировала). Сделали акцент, что обучали с помощью образовательных текстов)

4) Увеличили контекстное окно с помощью PoSE (до 8192 токена) (Идея основная такая: в классике self-attention не учитывает позицию векторов отдельно. Просто к эмбеддингам токенов прибавляют эмбеддинг их позиции. А тут они зашили позиционные эмбеддинги напрямую в self-attention. Теперь там не только Query-Key-Value [тут оч классная статья, которая поясняет это] матрицы, но и position-aware матрица)

5) Использовали токенизатор TikToken от OpenAI, дополнив его новыми токенами, начальные значения которых были усреднены из старых токенов.

6) Использовали две стадии для настройки предпочтений (удовлетворять запросам пользователей):

1. SPiN на ответах модели-учителя (Strong Model > Our Model) (Идея: использует сильную модель как эталон для обучения нашей модели. Проще говоря: маленькая моделька учится повторять ответы бОльшей и более умной модели)

2. SLiC-HF с использованием своего RM (Идея: Модель генерирует несколько вариантов ответа -> А они, использующие свою ранжирующую модель, выбирают лучший)

Модель по бенчмаркам показывает себя лучше даже GPT-3.5 / LLama-3 на задачах банка: например, суммаризация кейсов.

И на такой результат они потратили всего 3% вычислительных ресурсов (относительно того, сколько обычно выделяют ресов для обучения таких моделей).

НО не всё так радужно. Средний ответ модели почти в 1.5 раза больше, чем нужно. А как следствие - метрики завышены (ведь в бОльшие ответы содержат бОльшее количество информации). Подробнее вот тут.

На самом деле, я безумно рад, что при выделении такого малого кол-ва ресурсов, можно достичь вполне неплохих рехультатов. Ребята красавцы.
39👍9💘2
Отпишитесь в комментах, нормальна ли подача (не бесконечный же подбор ссылок для жесткого бота стажировок делать)

Может, что-то стоит изменить / дополнить / исправить.

Буду очень рад обратной связи)
👍3044💘11
MAE и MSE: В чем разница?

Что за тупой вопрос, скажете вы, дальше читать не буду, слишком очев. Но оно того стоит

Читаю книгу Валеры и Арсения по ML System Design и наткнулся на божественную интерпретацию MAE (Mean Absolute Error) и MSE (Mean Squared Error), под другим углом, так сказать.

Обычно MAE и MSE ассоциируются со средним значением и медианой. Это справедливо, ведь оптимальная константа, которая минимизирует MSE, - это среднее значение, а для MAE - медиана.

MSE реагирует на выбросы, а MAE - более устойчив к ним (собственно перехватили характеристики среднего значения и медианы)

А как это может помочь бизнесу?

Представим, что у нас есть вектор целевых значений


Y = [100, 100, 100, 100, 100, 100, 100, 100, 100, 1000]


Причем вектор X равный для этих целевых значений (то есть векторное описание наших объектов одинаковы).

Если мы будем оптимизировать функцию потерь MSE, получим вот такой результат:


Y_hat = [190, 190, 190, 190, 190, 190, 190, 190, 190, 190]


А если MAE, вот такой:


Y_hat = [100, 100, 100, 100, 100, 100, 100, 100, 100, 100]


Ну и что, спросите вы? В чем необычность? Скам - отписка.

Дополнительное условие: представим, что мы оптимизируем навигационную систему самолетов и ошибка большая 850 означает, что самолет отклоняется от траектории и разбивается.

В случае MAE можно сказать, что всего 1 из 10 самолетов разобьется (или 9/10 выживут). Но достаточно очевидно, что потеря одного самолета - это огромный удар по бизнесу (особенно вспоминаем Аэрофлот, где все самолеты взяты в кредит)

А вот в случае MSE - все идеально 10/10 самолетов целы-здоровы, можно не беспокоиться ни о чем.

В чем мораль?
Мораль такова, что функции потерь - это очень важная часть, к которой нужно подходить с умом. И даже в таких простых, казалось бы, задачах - функции потерь несут в себе неплохой смысл.

А еще, практические примеры очень сильно въедаются в мозг и помогают чувствовать всю эту математику и мл на кончиках пальцев

А в какой задаче, например, MAE будет более полезным, давайте обсудим в комментах
2295👍1
А большее про функций потерь и их особенности (почему есть Huber Loss и Log-cosh, чем MAPE отличается от SMAPE), можно прочитать в моем конспекте.

Там, на 6-8 странице собраны функции потерь (лоссы) в задаче регрессии

А на 22-24 странице собраны лоссы для задачи классификации (и интуиция того, откуда ноги растут)
19👍3
А если будет 300 реакций на этом сообщении, устроим онлайн-посиделки с чтением конспекта [и объяснением всего, что там написано] (и записи, конечно, сделаем доступными всем)
377👍5434117432
ROADMAP: ГЛУБОКОЕ ОБУЧЕНИЕ (3/3) 😳

НУ ТЕПЕЕРЬ ТОООЧНО, я возвращаюсь на постоянную основу и буду радовать вас своей шизой. Сначала начал со старого - обновил роадмап по мат.стату, можете поглядеть, если только начинаете свой путь.

Давайте закончим с начатым (с роадмапи) и перейдем к интересному, что меня в последнее время очень сильно драйвит / о чем я в последнее время активно задумываюсь.

Что с глубоким обучением и как его ботать? 🤔

На самом деле, если вы дошли до этой части и раньше все заботали - вы герой. Время определяться с ориентацией.

Как и везде, для основы нужна база. Крепкий фундамент, на который потом по очереди будут наслаиваться различные области: от CV до NLP.

БАЗА:
1. Женя Соколов, ну а как же без него. Очень хороший, "мягкий" цикл лекций, идёт как по маслу и даёт все понимание происходящего. Однозначно рекомендовано к первому просмотру и к знакомству с глубоким обучением.
ССЫЛКА НА ЦИКЛ ЛЕКЦИЙ

2. Практика. Я бы рекомендовал закреплять лекции Жени лекциями ШАДа. Одно дело слушать, другое дело повторять за семинаристом и делать домашки, мастхев для новичков.

Ориентации:
Наверное, для себя я определяю несколько вариантов профессионального развития - NLP, CV, RecSys (ну и классика, но она уже разбиралась). По последнему - ничего сказать не могу, а вот по первым двум - с радостью.

NLP:
Курс Лены Войты с ШАД, суперский курс. Как основа, как "база" для NLP - точно пойдет, ведь раскрываются как и методы "ручек", так и доходчиво объясняют механизм внимания и современные архитектуры. Ежу (основному, как по мне, семинаристу, я бы выразил отдельный респект).

На самом деле, здесь бы я еще посоветовал обязательно подписаться на эти каналы, чтобы следить за трендами (что очень важно). Сиолошная, Denis Sexy IT и эй ай ньюз. Да, список хайповый, но дальше, поверьте мне, вы сами найдете для себя узкопрофильных авторов, которые будут радовать себя своим контентом.

Дальше уже - собеситься, работать, читать папиры и наслаждаться жизнью

CV:
Я не спец. по CV, но как сказал один мой товарищ, которому я очень сильно доверяю - "курсы по CV не имеет смысла делать, потому что есть ЭТО".

Ну и разумеется, пишите в комментах ресурсы по рекомендательным системам, чтоыб помочь себе и окружающим 😎

Шэры, реакции для вдохновения нужны, конечно же!

Первая часть по классике ML
Вторая часть по математике для собесов
Please open Telegram to view this post
VIEW IN TELEGRAM
33👍1210🔥4🦄31
2025/10/08 18:52:04
Back to Top
HTML Embed Code: