Что выведет код?

🔥 — 0
❤️ — 120
👍🏼 — Error

🏃‍♀️ Proglib Academy

#междусобойчик

🏃‍♀️ Азбука айтишника

#развлекалово

💡 How to: как грамотно группировать YAML-конфигурации в ML-проектах

В ML-проектах множество параметров: данные, модели, обучение, инференс. Чтобы не потеряться в этом хаосе, важно организовать конфигурации понятно и масштабируемо.

🎯 Лучшее решение — использовать связку OmegaConf + Hydra.

⭐ OmegaConf: гибкость и структура

OmegaConf создана для сложных ML-пайплайнов и позволяет:

• Объединять несколько YAML-файлов в единую структуру
• Обращаться к полям как через config.model.optimizer, так и config["model"]["optimizer"]
• Использовать проверку типов через dataclasses или Pydantic-моделей

• Пример:

# model.yaml
model:
  name: resnet50
  optimizer:
    type: Adam
    lr: 0.001

from omegaconf import OmegaConf
cfg = OmegaConf.load("model.yaml")
print(cfg.model.optimizer.lr)  # 0.001

⭐ Hydra: управление ML-воркфлоу

Hydra расширяет OmegaConf и упрощает работу с конфигурациями:

• Группировка конфигураций через defaults:

# config.yaml
defaults:
  - data: imagenet.yaml
  - model: resnet.yaml
  - training: adam.yaml

• Структура может быть произвольной:

conf/
├── config.yaml
├── data/imagenet.yaml
├── model/resnet.yaml
├── training/adam.yaml

• Переопределения из командной строки:

python train.py model.optimizer=SGD training.lr=0.01

• Параметрические прогоны (sweeps):

python train.py -m training.lr=0.001,0.01 model.optimizer=Adam,SGD

Это удобно при автоматизированном поиске гиперпараметров.

💬 А как вы организуете свои конфигурации?

🏃‍♀️ Азбука айтишника

#буст

👊 Холивар: Kaggle или реальные проекты — где настоящий дата-сайенс

«Kaggle — это песочница для студентов, а реальные проекты — для взрослых дата-сайентистов. Если ты только и делаешь, что гонишься за медальками, ты не профи, а геймер!»

Давайте спорить в комментариях! ⤵️

👍 Kaggle — лучший тренажёр для мозга
❤️ Реальные проекты — тут рождается настоящий DS

🏃‍♀️ Азбука айтишника

#междусобойчик

💎 Шпаргалка, после которой вы реально поймёте LLM

Что внутри шпаргалки:
— Архитектура трансформеров
— Механизмы внимания
— Обучение языковых моделей
— Позиционные эмбеддинги
— Разбор современных LLM

🔝 И многое другое, объяснённое максимально наглядно всего на 4 страницах!

👉 Скачать шпаргалку: https://clc.to/T4BpUg

🏃‍♀️ Азбука айтишника

#буст

🐳 Чек-лист: использование Docker в задачах Data Science

Цель: обеспечить воспроизводимость, удобную работу с зависимостями и подготовку модели к деплою с помощью контейнеризации.

1️⃣ Установка и проверка Docker

🟣Установите Docker Desktop или Docker Engine для Linux

🟣Проверьте установку командой:

  docker --version

🟣 Выполните тестовый запуск:

  docker run hello-world

Это подтвердит, что Docker работает корректно.

2️⃣ Создание Dockerfile для проекта

🟣 Выберите подходящий базовый образ:
— python:3.11-slim — компактный образ на Python
— jupyter/datascience-notebook — включает Jupyter и популярные библиотеки

🟣Создайте файл Dockerfile и опишите в нём:

  FROM python:3.11-slim
  WORKDIR /app
  COPY . .
  RUN pip install -r requirements.txt

🟣Убедитесь, что файл requirements.txt содержит все зависимости проекта

3️⃣ Подготовка окружения для воспроизводимости

🟣 Укажите фиксированные версии библиотек в requirements.txt, например:

  pandas==2.2.1
  numpy==1.26.0

🟣 Добавьте .dockerignore, чтобы исключить ненужные файлы:

  .git
  *.csv
  __pycache__/

🟣 Постройте образ:

  docker build -t my-ds-image .

4️⃣ Работа с данными в контейнере

🟣 Подключите локальные данные:

  docker run -v /path/to/data:/app/data my-ds-image

🟣 Запустите Jupyter Notebook внутри контейнера:

  docker run -p 8888:8888 my-ds-image jupyter notebook --ip=0.0.0.0 --allow-root

🟣 При необходимости работы с GPU:
— Убедитесь, что установлен nvidia-docker
— Используйте флаг --gpus all

5️⃣ Тестирование и отладка

🟣 Получите интерактивный доступ к контейнеру:

  docker run -it my-ds-image bash

🟣Проверьте, работают ли библиотеки:

  python -c "import pandas; print(pandas.__version__)"

🟣 Просмотрите логи выполнения контейнера:

  docker logs <container_id>

6️⃣ Деплой модели как API

🟣 Напишите API на Flask или FastAPI (файл app.py)

🟣 Укажите в Dockerfile команду запуска:

  CMD ["python", "app.py"]

🟣 Запустите модель как сервис:

  docker run -p 5000:5000 my-ds-image  

🚩 Полезные инструменты и образы

🟣 Docker Compose — для запуска нескольких контейнеров (например, модель + база данных)

🟣 Образы:
—tensorflow/tensorflow:latest-gpu — с поддержкой GPU
— continuumio/anaconda3 — включает Anaconda и библиотеки

🔎 Рекомендация

Храните Dockerfile и requirements.txt в репозитории. Это залог воспроизводимости и эффективной командной работы в проектах Data Science.

🏃‍♀️ Азбука айтишника

#ликбез

🎧 7 подкастов об AI, которые реально стоят вашего времени

Индустрия шумит, новостей море, а времени — как всегда, впритык. Поэтому мы собрали для вас список подкастов, где обсуждают суть: машинное обучение, реальные кейсы и будущее AI. Без лишнего хайпа.

1⃣ Practical AI — прикладные задачи и инструменты ML

2⃣ Machine Learning Street Talk — глубокие техразборы и дискуссии

3⃣ The AI Podcast – NVIDIA — коротко и по сути от лидеров индустрии

4⃣ Data Skeptic — скептически и научно о данных

5⃣ Super Data Science — карьера, практики и история успеха

6⃣ Lex Fridman Podcast — большие умы, большие темы

7⃣ TWIML AI Podcast — технологии и реальный бизнес

👍 Сохраняйте пост, делитесь с командой и включайте в удобное время.

🏃‍♀️ Азбука айтишника

#буст

Идите на X, и вас не заменят ИИ 👍

🔥🎸 IT, костер, гитара: как за 5 шагов организовать драйвовый корпоратив

Провести офлайн-вечеринку для распределенной IT-команды — тот еще квест, если не продумать все до мелочей. Рассказываем, как не облажаться.

👉 Читать статью

🏃‍♀️ Азбука айтишника

#буст

📝 Промпт для идеального код ревью

Чтобы облегчить код ревью, используйте этот промпт для ChatGPT:

1. Проанализируй приведенный [язык] код на предмет признаков проблемного кода и предложи улучшения: [фрагмент кода].

2. Проверь [язык] код на предмет правильности логирования и мониторинга: [фрагмент кода].

3. Проанализируй [язык] код на предмет потенциальных проблем масштабируемости: [фрагмент кода].

4. Оцени тестовое покрытие этого [язык] кода: [фрагмент кода].

5. Оцени [язык] код на совместимость с [платформой или технологией]: [фрагмент кода].

⚡️ Как вы обычно проводите код ревью? Делитесь в комментариях!

🏃‍♀️ Азбука айтишника

#оффер_мечты

🏦 Строим банк с нуля

Начинаете проект с нуля?
Сначала решите, как разные части вашего приложения будут общаться.
ArchiMate — удобный способ всё нарисовать и разложить по полочкам.
Когда схема понятна, проект становится аккуратным, а систему легко улучшать и развивать.

➡️ В статье — о том, как визуализировать компоненты приложения и построить систему, которую легко развивать.

🏃‍♀️ Азбука айтишника

#буст

⌨️ Интерактивный тренажёр для всех, кто хочет прокачать навыки в алгоритмах и структурах данных

На VisualGo можно не только почитать теорию, но и увидеть, как работают алгоритмы в реальном времени.

🔹 Классные визуализации каждого алгоритма, чтобы понимать не на словах, а на практике;
🔹 Всё простое, с подробным разбором — подходит как для новичков, так и для продвинутых;
🔹 Реальные примеры, показывающие, как алгоритмы решают реальные задачи;

➡️ Изучаем алгоритмы здесь

🏃‍♀️ Азбука айтишника

#буст