Анализ данных (Data analysis)

📖 Вечернее чтение

Команда из DeepMind подготовила отличный материал о том, что нужно знать о работе с GPU.

- Разбор архитектуры NVIDIA GPU: SM, Tensor Cores, кеши, HBM.
- Сравнение GPU и TPU: гибкость против специализированной мощности.
- Как устроены GPU-кластеры и коллективные коммуникации.
- Roofline-анализ масштабирования LLM: data, tensor, expert, pipeline parallelism.

🔥 Если вы работаете с масштабированием моделей - мастрид.

👉 https://jax-ml.github.io/scaling-book/gpus/

@data_analysis_ml

❤17👍7🔥7

www.tgoop.com/data_analysis_ml/4035

6.84K viewsedited  Aug 22 at 20:13

📖 Вечернее чтение

Команда из DeepMind подготовила отличный материал о том, что нужно знать о работе с GPU.

- Разбор архитектуры NVIDIA GPU: SM, Tensor Cores, кеши, HBM.
- Сравнение GPU и TPU: гибкость против специализированной мощности.
- Как устроены GPU-кластеры и коллективные коммуникации.
- Roofline-анализ масштабирования LLM: data, tensor, expert, pipeline parallelism.

🔥 Если вы работаете с масштабированием моделей - мастрид.

👉 https://jax-ml.github.io/scaling-book/gpus/

@data_analysis_ml

BY Анализ данных (Data analysis)