Уничтожение трансофрмеров и LLM (RoadMap)
Трансформеры сейчас суются буквально везде и повсюду, поэтому их очень часто спрашивают на собесах и на них построены SOTA решения для многих областей особенно в LLM, поэтому не знать их -
это не база 🙈Это
RoadMap, который вам поможет разобраться с этой
трансформерами и с LLMками 🙈Начинаем мы с изучения архитектуры
трансформеров, а закончим LLMками 😘1️⃣ Всем смотреть
базу от Котенкова, здесь мы с ручкой и листком переписываем архитектуру, чтобы в полной мере понимать, как она работает
2️⃣ Трансформеры в картинках - эту статью прочитать в качестве закрепления материала от Котенкова
3️⃣ Для более широкого понимания смотрите наглядную и понятную серию роликов от 3Blue1Brown про LLM. Тут описаны основные принципы механизмов в трансформере:
➡️ Что такое GPT
➡️ Визуализация в трансформеров
➡️ Как работает механизм внимания, где ИИ хранит воспоминания
4️⃣ Визуализация трансформеров и
визуализация Self-Attention`a после того, как прочитали русскоязычные ресурсы и поняли базовые принципы работы трансформеров, можно глянуть и англоязычную визуализацию архитектуры
5️⃣ Базовая практика от Карпатова и
интерактивный прогон GPT модели - написания GPT модели с нуля от Андрюши Карпатоа, за ним повторять, каждую операцию понимать, плюс каждый шаг написания в интерактиве смотреть
6️⃣ А чо такое RLHF и ваши SFT ? - именно на этот вопрос отвечает Котенков в своём видео, здесь рассказываются, как обучаются современные LLMки, из каких этапов обучения они состоят, и что там вообще творится
Полезные дополнительные материалы 🕺
1️⃣ Attention Is All You Need - оригинальная статья про трансформеры
2️⃣ Neural Networks: Zero to Hero - курс Андрюши Карпатова по ИИ
3️⃣ Intro to Large Language Models - основная техническая подноготная в современные LLM системах от Карпатова
4️⃣ Мини-курс «Полная история семейства GPT» - курс от Котенкова по семейству GPT моделей
5️⃣ Мой Сборник Материалов - курсы, гайды и статьи на любой вкус не только в NLP, но и в NLP, CV, RecSys
Теперь вы сами стали
трансформером и можете объяснить, что такое
Self-Attention своей маме, папе, бабушке, дедушке и даже собаке
🤵♂️Если вы хотите:
💥 Получить оффер
✔️З
аботать трансформеры и другие темы в DS, ML, NLP
🔝 Сделать грейд ап по зарплате и по скиллам
‼️ То приходите ко мне на менторство, первая консультация бесплатная ‼️