tgoop.com/dsproglib/6863
Last Update:
🔥 Out-of-Memory ошибки? Пора включать Multi-GPU!
Когда одной видеокарты уже не хватает — мульти-GPU операции превращают разрозненные GPU в единую вычислительную машину:
— Масштабное обучение без ограничений
— Резкое сокращение времени тренировки
— Возможность запускать модели, которые раньше были «слишком большими»
🔹 Что такое Multi-GPU операции
Это фундамент распределенного обучения: модель тренируется сразу на нескольких GPU.
Есть два основных подхода:
— Data Parallelism → данные делятся между GPU, обновления синхронизируются
— Model Parallelism → модель «разрезается» и распределяется между картами
Инструменты:
— PyTorch Distributed — стандарт для мульти-GPU тренинга
— nbdistributed — позволяет делать всё прямо в Jupyter
Ключевые операции (то, как GPU общаются между собой):
— Send → отправка тензора GPU → GPU
—Scatter → разбивка тензора на части и рассылка
— Broadcast → копия тензора на все устройства
— Gather → сбор тензоров в один
— Reduce → сбор + функция → результат на одной GPU
— All-Reduce → то же самое, но результат у всех
⚡️ Multi-GPU — это не только скорость. Это доступ к моделям, которые раньше были просто невозможны.
#буст
