Дата-сайентисты!

Проголосуйте за наш канал, и в сторис мы опубликуем топ материалов, которые должен прочитать каждый дата-сайентист.

➡️Поддержать канал: https://www.tgoop.com/boost/dsproglib

⭐️ Команда дня: Smallpond

В центре внимания сегодня — Smallpond, который оптимизирует работу с большими объемами данных, обеспечивая высокую производительность и гибкость при решении задач в области ИИ.

Архитектура Smallpond:
🔴 DuckDB — основное ядро для обработки данных в памяти, высокая производительность и низкая латентность
🔴 3FS — распределенная файловая система, поддерживающая работу с данными в формате Parquet, SSD и RDMA, что позволяет эффективно работать с большими объемами данных и хранить контрольные точки
🔴 Ray — мощный механизм распределения задач, популярный Ray Core для параллельной обработки и масштабируемости

Как использовать Smallpond:
🔴 Установите: pip install smallpond
🔴 Пример использования:

import smallpond  

sp = smallpond.init(job_name="flightdatajob", ray_address="http://127.0.0.1:8265")  

df = sp.read_parquet("flight_summary.parquet")  
df = df.repartition(10, hash_by="DEST_COUNTRY_NAME")  
df = sp.partial_sql("SELECT DEST_COUNTRY_NAME, count(distinct ORIGIN_COUNTRY_NAME) as ORIGIN FROM {0} GROUP BY DEST_COUNTRY_NAME HAVING DEST_COUNTRY_NAME='United States'", df)  

print(df.to_pandas())  

Что происходит в коде:
🔴 Инициализация: подключение к кластеру Ray (или создание нового)
🔴 Чтение данных: импорт данных в формате Parquet, с разбиением по партициям (например, по хешу)
🔴 SQL-запросы: выполнение запросов с использованием DuckDB для обработки на каждой партиции
🔴 Вывод: результаты можно сохранить в форматах Parquet или pandas

🔘Модель выполнения

Smallpond использует ленивые вычисления, создавая DAG (направленный ациклический граф) и выполняя задачи только при вызове действий, таких как to_pandas(). Это позволяет эффективно управлять вычислениями и минимизировать ресурсы.

🔘Зачем нужен Smallpond

Smallpond подходит для задач, где требуется высокая производительность и оптимизация работы с большими данными. Его простота и интеграция с популярными инструментами делают его отличным выбором для проектов в области ИИ.

🔗 Узнать больше: https://clc.to/bPm0Xw

Библиотека дата-сайентиста #буст

🧮 PyTorch выпустил mm: 3D визуализатор матричных умножений

🧮 Matrix Multiplication (matmul) — основа современных нейросетей. И теперь вы можете наглядно увидеть, как это работает.

Инструмент от PyTorch называется mm — это визуализатор, который показывает, как матрицы взаимодействуют во время перемножения. Отличный способ понять внутреннюю механику операций, лежащих в основе ИИ.

⚡ Особенности:
➡️ Работает прямо в браузере
➡️ Показывает процесс перемножения пошагово
➡️ Подходит для обучения, презентаций и просто ради любопытства

📎 Ссылка на проект: https://clc.to/LG_pgw

Библиотека дата-сайентиста #свежак

🤪 Код вчерашнего дня — сюрприз для дата-сайентиста

А какие перлы находили в своем коде? Делитесь в комментариях 👇

Библиотека дата-сайентиста #развлекалово

🐳 Чек-лист: использование Docker в задачах Data Science

Цель: обеспечить воспроизводимость, удобную работу с зависимостями и подготовку модели к деплою с помощью контейнеризации.

1️⃣ Установка и проверка Docker

🟣Установите Docker Desktop или Docker Engine для Linux

🟣Проверьте установку командой:

  docker --version

🟣 Выполните тестовый запуск:

  docker run hello-world

Это подтвердит, что Docker работает корректно.

2️⃣ Создание Dockerfile для проекта

🟣 Выберите подходящий базовый образ:
— python:3.11-slim — компактный образ на Python
— jupyter/datascience-notebook — включает Jupyter и популярные библиотеки

🟣Создайте файл Dockerfile и опишите в нём:

  FROM python:3.11-slim
  WORKDIR /app
  COPY . .
  RUN pip install -r requirements.txt

🟣Убедитесь, что файл requirements.txt содержит все зависимости проекта

3️⃣ Подготовка окружения для воспроизводимости

🟣 Укажите фиксированные версии библиотек в requirements.txt, например:

  pandas==2.2.1
  numpy==1.26.0

🟣 Добавьте .dockerignore, чтобы исключить ненужные файлы:

  .git
  *.csv
  __pycache__/

🟣 Постройте образ:

  docker build -t my-ds-image .

4️⃣ Работа с данными в контейнере

🟣 Подключите локальные данные:

  docker run -v /path/to/data:/app/data my-ds-image

🟣 Запустите Jupyter Notebook внутри контейнера:

  docker run -p 8888:8888 my-ds-image jupyter notebook --ip=0.0.0.0 --allow-root

🟣 При необходимости работы с GPU:
— Убедитесь, что установлен nvidia-docker
— Используйте флаг --gpus all

5️⃣ Тестирование и отладка

🟣 Получите интерактивный доступ к контейнеру:

  docker run -it my-ds-image bash

🟣Проверьте, работают ли библиотеки:

  python -c "import pandas; print(pandas.__version__)"

🟣 Просмотрите логи выполнения контейнера:

  docker logs <container_id>

6️⃣ Деплой модели как API

🟣 Напишите API на Flask или FastAPI (файл app.py)

🟣 Укажите в Dockerfile команду запуска:

  CMD ["python", "app.py"]

🟣 Запустите модель как сервис:

  docker run -p 5000:5000 my-ds-image  

🚩 Полезные инструменты и образы

🟣 Docker Compose — для запуска нескольких контейнеров (например, модель + база данных)

🟣 Образы:
—tensorflow/tensorflow:latest-gpu — с поддержкой GPU
— continuumio/anaconda3 — включает Anaconda и библиотеки

🔎 Рекомендация

Храните Dockerfile и requirements.txt в репозитории. Это залог воспроизводимости и эффективной командной работы в проектах Data Science.

Библиотека дата-сайентиста #буст

🆕 Google выпустил бесплатный гайд по созданию промптов

От базовых принципов до сложных техник, таких как chain of thought, где LLM строит цепочки решений.

😳 Цитата: «Не нужно быть дата-сайентистом или ML-инженером — каждый может освоить промпты.»

Звучит очень громко и амбициозно!

Согласны ли вы с этим утверждением? Может ли человек без опыта в Data Science создать эффективный промпт для решения задачи?

👍 — Да, с правильным подходом можно
🔥 — Нет, всё равно нужен опыт и знания

🔗 Ссылка на гайд: https://clc.to/q-7AXw

Библиотека дата-сайентиста #свежак

🙈 Что скрывает дисперсия: разгадка секрета точных ML-моделей

Представьте, что вы строите модель, которая прекрасно работает на тренировочных данных, но стоит подать ей новые примеры... и всё рушится. Знакомо? За этим почти всегда скрывается неправильное обращение с дисперсией.

🧐 Но что, если есть простая формула, способная:
• Мгновенно определить, насколько «разбросаны» ваши данные

• Значительно улучшить точность ваших ML-моделей

• Помочь обнаружить аномалии, которые вы раньше не замечали

В нашем вебинаре мы раскрываем все секреты дисперсии — без сложных терминов и занудных объяснений. Вы узнаете, почему дисперсия — как соль: без нее все пресно, а с переизбытком — несъедобно.

Хотите узнать, как находить идеальный баланс в своих моделях, причем тут Random Forest и много другого о Data Science?

➡️Тогда смотрите бесплатный вебинар от Proglib: https://proglib.io/w/b9e06b9e

📩 Вопросы подписчиков: как в Big Tech избежать рутины вроде «почисти данные и посчитай метрику»?

👋 Привет, дата-сайнтисты и инженеры! Один из наших подписчиков поделился карьерной дилеммой, которая может откликнуться многим.

💬 Вот его ситуация:

«Я — дата-сайнтист, сейчас ищу работу в крупной техкомпании. На собеседованиях звучат обещания: работа над интересными задачами, автономия, перспективы роста до Senior. Но слышал и другую сторону — что в Big Tech роль DS нередко сводится к рутине: чистка данных, построение метрик для чужих решений, минимальное влияние на бизнес.

Сейчас я работаю в небольшой компании, где делаю всё: от анализа и визуализации до ML и поддержки аналитиков. Это даёт свободу и ощущение пользы, но платят меньше, и в резюме нет громких названий.

В Big Tech, как говорят:
— DS часто подключаются на поздних стадиях, когда ключевые решения уже приняты.
— Роль ограничена задачами от продукт-менеджеров, без возможности задавать направление.
— Не все менеджеры (особенно из продуктовой или инженерной вертикали) понимают, как раскрыть потенциал DS.

Боюсь, что могу оказаться в «мертвой зоне» — когда формально в Big Tech, но без настоящего роста и влияния. Может, стоит искать команды, где DS работают ближе к стратегии? Или перейти в mid-size компанию с фокусом на DS+ML, где можно быть драйвером, а не исполнителем?»

💡 Что посоветуете:
— Как отличить «живую» команду от «рутинной» на собеседовании?

— Какие вопросы вы задаёте, чтобы понять, есть ли пространство для роста и реального влияния?

— Где, по вашему опыту, дата-сайнтисты действительно формируют вектор продукта или бизнеса?

Давайте поможем! Делитесь опытом и советами в комментах ⤵️

P.S. Если хотите задать вопрос, заполните нашу гугл-форму. Это займет 5 минут.

Библиотека дата-сайентиста #междусобойчик

🎧 7 подкастов об AI, которые реально стоят вашего времени

Индустрия шумит, новостей море, а времени — как всегда, впритык. Поэтому мы собрали для вас список подкастов, где обсуждают суть: машинное обучение, реальные кейсы и будущее AI. Без лишнего хайпа.

1⃣ Practical AI — прикладные задачи и инструменты ML

2⃣ Machine Learning Street Talk — глубокие техразборы и дискуссии

3⃣ The AI Podcast – NVIDIA — коротко и по сути от лидеров индустрии

4⃣ Data Skeptic — скептически и научно о данных

5⃣ Super Data Science — карьера, практики и история успеха

6⃣ Lex Fridman Podcast — большие умы, большие темы

7⃣ TWIML AI Podcast — технологии и реальный бизнес

👍 Сохраняйте пост, делитесь с командой и включайте в удобное время.

Библиотека дата-сайентиста #буст

🖼 ТОП-5 структур данных для обработки изображений

Хотите разобраться, как обрабатывать изображения в компьютерном зрении или графике?

Всё начинается с правильных структур данных. Они помогают хранить и анализировать пиксели, их связи и расположение.

👉 В этой статье — подборка топ решений и советы, как их использовать.

Библиотека питониста

⚡️ Proglib представляет: «Набор начинающего дата-сайентиста»

✅ Ноутбук
✅ Кофе (много кофе)
✅ Python
✅ Данные

Собрал набор — и вперёд, покорять графики!

🤔 Мы что-то забыли добавить в набор?

Библиотека дата-сайентиста #развлекалово

🧑‍💻 Human-in-the-loop: что с этим делать?

В мире машинного обучения не утихает спор:

Нужен ли человек в процессе обучения модели — или пора довериться полной автоматизации?

💬 «Обучение без участия человека — это не обучение!»

— Алгоритмы часто ошибаются, особенно в нестандартных или критичных ситуациях.
— Только человек может внести контекст, настроить параметры, проверить результат.
— Разметка данных, ручная оценка, контроль — всё это до сих пор нужно в реальных проектах.

Особенно там, где цена ошибки высока: медицина, безопасность, финансы.

✅ Сторонники контроля считают, что ИИ нельзя отпускать без присмотра. Полагаться полностью на «автоматику» — риск получить умного, но бесполезного бота.

💬 «Что за архаизм? Всё должно быть автоматизировано!»

— Люди ошибаются, устают и не масштабируются.
— Современные модели могут учиться сами, используя данные пользователей.
— Автоматизация ускоряет развитие, сокращает затраты и открывает путь к масштабируемым решениям.

Например: рекомендательные системы, спам-фильтры, самообучающиеся ассистенты — уже работают без человека.

✅ Апологеты автоматизации уверены, что вмешательство человека — это признак сырой системы. Если модель требует ручной донастройки — значит, она ещё не готова к реальному масштабу.

💭 Ваше мнение:

❤️ Человек в цикле — важен. Он добавляет контекст, видит нюансы и спасает от ошибок.
👍 Полная автоматизация — путь вперёд. Пусть ИИ работает сам, а мы не мешаем.

Давайте обсудим 👇

Библиотека дата-сайентиста #междусобойчик

✅ Это база: трансформеры вручную — как понять, что происходит за кулисами LLM

В этом посте разберем, как вручную пройти через процесс работы трансформера, от входных данных до финального слоя.

⬇️ Пошаговый процесс

1️⃣ Исходные данные:
Входные признаки из предыдущего блока (5 позиций).

2️⃣ Внимание:
Все 5 признаков передаются в модуль внимания запрос-ключ (QK) для получения матрицы весов внимания (A).

3️⃣ Взвешивание внимания:
Умножаем входные данные на матрицу весов внимания, чтобы получить взвешенные признаки (Z). Этим объединяем признаки по горизонтали, например, X1 := X1 + X2, X2 := X2 + X3 и так далее.

4️⃣ FFN — первый слой:
Процессинг всех 5 признаков через первый слой. Умножаем их на веса и смещения, увеличивая размерность с 3 до 4, комбинируя признаки по вертикали.

5️⃣ ReLU:
Отрицательные значения заменяются нулями.

6️⃣ FFN — второй слой:
Подаем данные во второй слой, уменьшаем размерность с 4 до 3 и отправляем результат в следующий блок для повторения процесса.

Библиотека дата-сайентиста #буст

🙂 Раскрываем секрет собственных векторов: математическое оружие на собеседовании

Что объединяет успешный собес и продвинутый анализ данных? Оба требуют способности выделять главное из информационного шума!

В мире данных этот суперскилл называется методом главных компонент (PCA) — это как рентген для ваших данных, который мгновенно показывает всю суть, отбрасывая неважные детали.

Например, мы проанализировали 453 акции компаний из списка S&P 500 и выяснили, что всего одна главная компонента объясняет 38% всей динамики рынка. Как такое возможно?

😘 Расскажем на воркшопе «Математика машинного обучения на практике» 21 апреля!

Вы будете работать с реальными данными, научитесь выявлять скрытые закономерности и применять эти инсайты в своих проектах.

Стоимость: 3990 ₽

Не беспокойтесь, если теоретическая база пока хромает — вы можете заранее посмотреть запись нашего вебинара по основам по ссылке ниже.

➡️ Забронировать место на воркшопе: https://proglib.io/w/0eb27019

👨‍💻 Топ-вакансий для дата-сайентистов за неделю

Data Scientist в области языковых моделей (Middle) — от 351 000 ₽, удаленно

Data Scientist (классический ML) — от 230 000 ₽, удаленно

Senior Data Scientist (Recommender Systems) — от 5 000 до 6 500 €, удаленно

Data Engineer / Инженер данных (уровень Middle) — от 150 000 ₽, удаленно (Екатеринбург)

Data Analyst (Physics) — от 2 500 до 3 000 €, удаленно

➡️ Еще больше топовых вакансий — в нашем канале Data jobs

Библиотека дата-сайентиста

💎 Шпаргалка, после которой вы реально поймёте LLM

Что внутри шпаргалки:
— Архитектура трансформеров
— Механизмы внимания
— Обучение языковых моделей
— Позиционные эмбеддинги
— Разбор современных LLM

🔝 И многое другое, объяснённое максимально наглядно всего на 4 страницах!

👉 Скачать шпаргалку: https://clc.to/T4BpUg

🆕 OpenAI выпустила три новые модели: GPT‑4.1, 4.1 Mini и 4.1 Nano

Теперь можно запускать контексты до 1 миллиона токенов через API. Новые бенчмарки, расширенные окна контекста и первая в истории nano-модель. Быстрее, умнее и дешевле, чем GPT-4o.

➡️ GPT-4.1 Nano — первая «крошечная» модель OpenAI для сверхнизкой задержки и edge-приложений. Оптимизирована под скорость.

GPT-4.1 показывает улучшения по всем направлениям:
— Кодинг: 54.6% на SWE-bench (на 21.4% выше GPT-4o)
— Инструкции: 38.3% на MultiChallenge (на 10.5% выше)
— Длинные контексты: 72.0% на Video-MME (на 6.7% выше)
— Использует обучающие данные до июня 2024 года
— Эффективно обрабатывает большие документы и целые кодовые базы

➡️ GPT-4 уходит в отставку

С 30 апреля GPT-4 больше не будет использоваться в ChatGPT. Его заменит GPT-4o — мультимодальная модель, представленная OpenAI в мае прошлого года.

Из примечания к релизу:

«GPT‑4 стал поворотной точкой в развитии ChatGPT. Мы благодарны за прорывы, которые он обеспечил, и за отзывы, которые помогли сформировать его преемника. GPT‑4o продолжает эту линию, предлагая ещё больше возможностей, стабильности и креативности.»

Тем временем, OpenAI готовит к запуску новое семейство моделей, которое заменит GPT-4o — GPT-4.1, релиз может состояться уже на этой неделе.

GPT-4 останется доступен через API, несмотря на замену в ChatGPT.

👍 Ставь лайк, если OpenAI явно стоит поработать над названиями своих моделей.

Библиотека дата-сайентиста #свежак

🧮 Как избежать ловушки округления в Power BI

Твой отчет показывает разные цифры при одинаковой логике? Не спеши винить систему – это классический кейс с округлением в Power BI.

👊 Разбираемся, как типы данных влияют на точность и почему Currency может стать твоим врагом.

➡️ Подробнее в статье: https://proglib.io/sh/TcGmatdgNV

Библиотека дата-сайентиста

MLOps без воды: готовый пошаговый план

Готовый GitHub-репозиторий, который по шагам закрывает ключевые темы: от настройки проекта и контроля данных — до CI/CD, упаковки моделей и деплоя в AWS:

✅Неделя 0: Базовая настройка проекта

✅Неделя 1: Мониторинг моделей через Weights & Biases

✅Неделя 2: Конфигурации с Hydra

✅Неделя 3: Контроль версий данных с DVC

✅Неделя 4: Упаковка моделей в ONNX

✅Неделя 5: Упаковка моделей в Docker

✅Неделя 6: CI/CD через GitHub Actions

✅ Неделя 7: Хранение контейнеров в AWS ECR

✅ Неделя 8: Серверлесс-деплой на AWS Lambda

✅ Неделя 9: Мониторинг предсказаний через Kibana

🔗 Ссылка на репозиторий: https://clc.to/Hqx7cg

Библиотека дата-сайентиста #буст