DL in NLP

How Nvidia’s CUDA Monopoly In Machine Learning Is Breaking - OpenAI Triton And PyTorch 2.0
www.semianalysis.com/p/nvidiaopenaitritonpytorch

Сейчас NVIDIA GPUs повсюду в DL и для новых игроков на рынке железа довольно трудно соперничать с ними потому что чтобы поддерживать например pytorch им нужно писать низкоуровневый код для поддержки 2000+ операторов пайторча. PyTorch 2.0 меняет это и уменьшает число базовых операторов в 10 раз, плюс начинает более нативно поддерживать статические графы. Triton, PrimTorch и TorchDynamo этому помогают. В особенности Triton, который является альтертанивой CUDA от OpenAI на котором можно писать более универсальный код. Это поможет как AMD, так и новым стартапам вроде Cerebras или Graphcore.

Чем вообще стартапы могут нас удивить? В статье хорошо описан подход Cerebras и SRAM vs DRAM. Оч советую пробежаться по ней, надеюсь скоро в мире AI-железа будет интересно.

SemiAnalysis

How Nvidia’s CUDA Monopoly In Machine Learning Is Breaking – OpenAI Triton And PyTorch 2.0

Over the last decade, the landscape of machine learning software development has undergone significant changes. Many frameworks have come and gone, but most have relied heavily on leveraging Nvidia…

👍30🔥8❤3

www.tgoop.com/dlinnlp/1473

4.28K viewsVlad Lialin, edited  Jan 18, 2023 at 17:27

How Nvidia’s CUDA Monopoly In Machine Learning Is Breaking - OpenAI Triton And PyTorch 2.0
www.semianalysis.com/p/nvidiaopenaitritonpytorch

Сейчас NVIDIA GPUs повсюду в DL и для новых игроков на рынке железа довольно трудно соперничать с ними потому что чтобы поддерживать например pytorch им нужно писать низкоуровневый код для поддержки 2000+ операторов пайторча. PyTorch 2.0 меняет это и уменьшает число базовых операторов в 10 раз, плюс начинает более нативно поддерживать статические графы. Triton, PrimTorch и TorchDynamo этому помогают. В особенности Triton, который является альтертанивой CUDA от OpenAI на котором можно писать более универсальный код. Это поможет как AMD, так и новым стартапам вроде Cerebras или Graphcore.

Чем вообще стартапы могут нас удивить? В статье хорошо описан подход Cerebras и SRAM vs DRAM. Оч советую пробежаться по ней, надеюсь скоро в мире AI-железа будет интересно.

BY DL in NLP