EBOUTDATASCIENCE Telegram 115
Уничтожение трансофрмеров и LLM (RoadMap)

Трансформеры сейчас суются буквально везде и повсюду, поэтому их очень часто спрашивают на собесах и на них построены SOTA решения для многих областей особенно в LLM, поэтому не знать их - это не база 🙈
Это RoadMap, который вам поможет разобраться с этой трансформерами и с LLMками 🙈

Начинаем мы с изучения архитектуры трансформеров, а закончим LLMками 😘
1️⃣ Всем смотреть базу от Котенкова, здесь мы с ручкой и листком переписываем архитектуру, чтобы в полной мере понимать, как она работает
2️⃣ Трансформеры в картинках - эту статью прочитать в качестве закрепления материала от Котенкова
3️⃣ Для более широкого понимания смотрите наглядную и понятную серию роликов от 3Blue1Brown про LLM. Тут описаны основные принципы механизмов в трансформере:
➡️ Что такое GPT
➡️ Визуализация в трансформеров
➡️ Как работает механизм внимания, где ИИ хранит воспоминания
4️⃣ Визуализация трансформеров и визуализация Self-Attention`a после того, как прочитали русскоязычные ресурсы и поняли базовые принципы работы трансформеров, можно глянуть и англоязычную визуализацию архитектуры
5️⃣ Базовая практика от Карпатова и интерактивный прогон GPT модели - написания GPT модели с нуля от Андрюши Карпатоа, за ним повторять, каждую операцию понимать, плюс каждый шаг написания в интерактиве смотреть
6️⃣ А чо такое RLHF и ваши SFT ? - именно на этот вопрос отвечает Котенков в своём видео, здесь рассказываются, как обучаются современные LLMки, из каких этапов обучения они состоят, и что там вообще творится

Полезные дополнительные материалы 🕺
1️⃣ Attention Is All You Need - оригинальная статья про трансформеры
2️⃣ Neural Networks: Zero to Hero - курс Андрюши Карпатова по ИИ
3️⃣ Intro to Large Language Models - основная техническая подноготная в современные LLM системах от Карпатова
4️⃣ Мини-курс «Полная история семейства GPT» - курс от Котенкова по семейству GPT моделей
5️⃣ Мой Сборник Материалов - курсы, гайды и статьи на любой вкус не только в NLP, но и в NLP, CV, RecSys

Теперь вы сами стали трансформером и можете объяснить, что такое Self-Attention своей маме, папе, бабушке, дедушке и даже собаке 🤵‍♂️

Если вы хотите:
💥 Получить оффер
✔️Заботать трансформеры и другие темы в DS, ML, NLP
🔝 Сделать грейд ап по зарплате и по скиллам
‼️ То приходите ко мне на менторство, первая консультация бесплатная ‼️
Please open Telegram to view this post
VIEW IN TELEGRAM
🍌10🔥7🫡4👎32😴2👌1



tgoop.com/eboutdatascience/115
Create:
Last Update:

Уничтожение трансофрмеров и LLM (RoadMap)

Трансформеры сейчас суются буквально везде и повсюду, поэтому их очень часто спрашивают на собесах и на них построены SOTA решения для многих областей особенно в LLM, поэтому не знать их - это не база 🙈
Это RoadMap, который вам поможет разобраться с этой трансформерами и с LLMками 🙈

Начинаем мы с изучения архитектуры трансформеров, а закончим LLMками 😘
1️⃣ Всем смотреть базу от Котенкова, здесь мы с ручкой и листком переписываем архитектуру, чтобы в полной мере понимать, как она работает
2️⃣ Трансформеры в картинках - эту статью прочитать в качестве закрепления материала от Котенкова
3️⃣ Для более широкого понимания смотрите наглядную и понятную серию роликов от 3Blue1Brown про LLM. Тут описаны основные принципы механизмов в трансформере:
➡️ Что такое GPT
➡️ Визуализация в трансформеров
➡️ Как работает механизм внимания, где ИИ хранит воспоминания
4️⃣ Визуализация трансформеров и визуализация Self-Attention`a после того, как прочитали русскоязычные ресурсы и поняли базовые принципы работы трансформеров, можно глянуть и англоязычную визуализацию архитектуры
5️⃣ Базовая практика от Карпатова и интерактивный прогон GPT модели - написания GPT модели с нуля от Андрюши Карпатоа, за ним повторять, каждую операцию понимать, плюс каждый шаг написания в интерактиве смотреть
6️⃣ А чо такое RLHF и ваши SFT ? - именно на этот вопрос отвечает Котенков в своём видео, здесь рассказываются, как обучаются современные LLMки, из каких этапов обучения они состоят, и что там вообще творится

Полезные дополнительные материалы 🕺
1️⃣ Attention Is All You Need - оригинальная статья про трансформеры
2️⃣ Neural Networks: Zero to Hero - курс Андрюши Карпатова по ИИ
3️⃣ Intro to Large Language Models - основная техническая подноготная в современные LLM системах от Карпатова
4️⃣ Мини-курс «Полная история семейства GPT» - курс от Котенкова по семейству GPT моделей
5️⃣ Мой Сборник Материалов - курсы, гайды и статьи на любой вкус не только в NLP, но и в NLP, CV, RecSys

Теперь вы сами стали трансформером и можете объяснить, что такое Self-Attention своей маме, папе, бабушке, дедушке и даже собаке 🤵‍♂️

Если вы хотите:
💥 Получить оффер
✔️Заботать трансформеры и другие темы в DS, ML, NLP
🔝 Сделать грейд ап по зарплате и по скиллам
‼️ То приходите ко мне на менторство, первая консультация бесплатная ‼️

BY Ebout Data Science | Дима Савелко


Share with your friend now:
tgoop.com/eboutdatascience/115

View MORE
Open in Telegram


Telegram News

Date: |

To upload a logo, click the Menu icon and select “Manage Channel.” In a new window, hit the Camera icon. The SUCK Channel on Telegram, with a message saying some content has been removed by the police. Photo: Telegram screenshot. Informative How to Create a Private or Public Channel on Telegram? Matt Hussey, editorial director at NEAR Protocol also responded to this news with “#meIRL”. Just as you search “Bear Market Screaming” in Telegram, you will see a Pepe frog yelling as the group’s featured image.
from us


Telegram Ebout Data Science | Дима Савелко
FROM American