Генеративные vs. дискриминативные модели в ML

Генеративные модели:
🔸Изучают распределение данных, чтобы генерировать новые образцы.
🔸Обладают дискриминативными свойствами — их можно использовать для классификации.

Дискриминативные модели не обладают генеративными свойствами

👉 @DataSciencegx

Python-библиотека для тонкой настройки Gemma 3

Gemma — это минимальная библиотека для использования и тонкой настройки Gemma. Включает документацию по тонкой настройке, шардингу, LoRA, PEFT, мультимодальности и токенизации в больших языковых моделях (LLMs).

Полностью с открытым исходным кодом.

👉 @DataSciencegx

Иногда нужно быстро скормить LLM весь репозиторий

Просто меняешь одну букву в URL (github.com → uithub.com), и вуаля — получаешь весь репозиторий в виде чистого текста со структурой

Плюс есть фильтрация по расширениям, настройка максимального количества токенов и поддержка разных форматов вроде YAML

👉 @DataSciencegx

Всего три строки кода — и эта библиотека Python очистит любой ML-дataset: выявит выбросы, найдет ошибки в метках, выполнит активное обучение и многое другое.

100% open-source

https://github.com/cleanlab/cleanlab

👉 @DataSciencegx

Colab + GitHub: мгновенное открытие ноутбуков

Открывать Jupyter Notebook из GitHub в Colab без скачиваний, возни и лишних кликов? Лови лайфхак

Просто вставляешь "tocolab" в URL после "github" – и ноутбук сразу открывается в Colab

Запоминаем и пользуемся

👉 @DataSciencegx

«Просто используй RAG», — сказали они. Но КАКОЙ RAG?

Вот 7 различных архитектур RAG, которые стоит знать

1️⃣ Наивный RAG: Классический подход

Наивный RAG — это стандартная реализация с простым процессом:

🔸Пользователь отправляет запрос.
🔸Система извлекает релевантные документы из векторной базы данных.
🔸Извлечённые документы добавляются в контекст запроса.
🔸LLM генерирует ответ на основе запроса и контекста.

Этот метод хорошо работает для простых приложений, таких как базовые системы вопросов-ответов или помощники по документам.

2️⃣ RAG с повторным ранжированием (Retrieve and Rerank RAG)

Добавляет этап повторного ранжирования для повышения качества извлечённых данных:

🔸Изначально извлекается расширенный набор потенциально релевантных документов.
🔸Модель ранжирования оценивает их и присваивает оценки релевантности.
🔸Только документы с наивысшими оценками передаются в LLM.

3️⃣ Мультимодальный RAG

Использует модели, работающие с различными типами данных: текстом, изображениями, аудио, видео и т. д.

4️⃣ Графовый RAG

Использует графовую базу данных для учёта связей между документами:

🔸Документы или их фрагменты представляются узлами графа.
🔸Связи между документами — рёбра графа.
🔸Запрос может следовать по связям, чтобы находить более контекстно релевантную информацию.

5️⃣ Гибридный RAG (Vector DB + Graph DB)

Комбинирует векторный поиск и графовую базу данных:

🔸Векторный поиск находит семантически схожий контент.
🔸Графовая база предоставляет структурированные связи между данными.
🔸Запросы используют как семантическое сходство, так и явные связи.
🔸Ответ может включать информацию, найденную при обходе графа.

6️⃣ Агентный RAG с маршрутизатором (Agentic RAG with Router Agent)

Один агент управляет процессом извлечения знаний:

🔸Анализирует запрос и определяет, какие источники данных использовать.
🔸Принимает стратегические решения о способах извлечения информации.
🔸Координирует процесс извлечения на основе понимания запроса.

7️⃣ Мультиагентный RAG

Использует несколько специализированных агентов:

🔸Главный агент управляет процессом.
🔸Специализированные агенты выполняют разные задачи.
🔸Агенты взаимодействуют, чтобы решать сложные запросы.

Например, один агент отвечает за поиск по источникам, другой за преобразование данных, третий — за персонализацию ответа, а главный агент собирает окончательный результат.

👉 @DataSciencegx

Топ 10 YouTube-каналов для изучения ИИ с нуля:

Andrej Karpathy – Глубокие, но доступные лекции по глубокому обучению, языковым моделям и вводный курс по нейронным сетям

3Blue1Brown – Впечатляющие визуализации, которые делают абстрактные математические концепции интуитивно понятными

Lex Fridman – Глубокие интервью с лидерами ИИ, предлагающие широкий взгляд на эту область.

Machine Learning Street Talk – Технические обсуждения и глубокие погружения с ведущими исследователями в области ИИ.

StatQuest с Joshua Starmer PhD – Простые объяснения по машинному обучению и статистике для начинающих

Serrano Academy (Luis Serrano) – Понятный и доступный контент по машинному обучению, глубокому обучению и достижениям в ИИ.

Jeremy Howard – Практические курсы по глубокому обучению и руководства по созданию веб-приложений с использованием ИИ.

Hamel Husain – Практические уроки по языковым моделям, RAG (retrieval-augmented generation), тонкой настройке и оценке ИИ

Jason Liu – Лекции от экспертов по RAG и советы по фрилансу в области машинного обучения

Dave Ebbelaar – Практические руководства по созданию ИИ-систем и их реальным приложениям

Какие еще YouTube-каналы, по вашему мнению, обязательны к просмотру?

👉 @DataSciencegx

Шпаргалки по Transformers и LLMs для курса Stanford CME-295

Охватывают токенизацию, механизм самовнимания, prompting, дообучение, LLM-as-a-judge, RAG, AI-агентов и модели рассуждений.

Полностью бесплатные и с открытым исходным кодом. Забираем здесь

👉 @DataSciencegx

ИИ-агент для дата-сайентистов, который создает полноценные рабочие процессы в Jupyter Notebook по одному запросу

Data Copilot — это аналог Cursor, но специально для дата-сайентистов.

Я разработал полный ML-ноутбук: импорт данных, их очистка, обучение моделей и тестирование — все в одном процессе

Полностью с открытым исходным кодом

🔸Репо: https://github.com/mito-ds/mito
🔸Документация: https://docs.trymito.io/mito-ai/data-copilot

👉 @DataSciencegx

Pandas → Polars → SQL → PySpark

👉 @DataSciencegx

11 графиков в Data Science, которые используются в 90% случаев

👉 @DataSciencegx