Возвращаемся в рабочий режим вещания👀

Делюсь с вами новым чипом от d-Matrix — Corsair

Основные моменты из статьи:

1) Авторы называют свой чип представителем архитектуры Digital In-Memory Compute (DIMC). В этой архитектуре вычислительные блоки, такие как умножители и аккумуляторы, интегрированы в ячейки памяти, что снижает задержку и энергозатраты на передачу данных.

2) Организация системы памяти. В чипе Corsair доступны два режима работы. Первый режим очень похож на подход Groq, где модели хранятся в 1 GB SRAM (1), доступной в каждом чипе Corsair, что в сумме составляет 2 GB SRAM на карту. Это означает, что при использовании формата MXINT8 на 8 картах Corsair может разместиться модель Llama3-8B.

3) Упор на современные форматы данных. d-matrix используют новые типы данных OCP Microscaling Formats. Эти форматы поддерживают вычисления с 8-битными числами с общей экспонентой. Однако классические форматы IEEE-754 (FP64, FP32, FP16), а также BF16 и TF32 не поддерживаются для повышения эффективности вычислительных мощностей современных форматов.

However, in order to maximize the amount of MX compute, Corsair does not support any IEEE 754 Floating Point numbers such as FP64, FP32, or even FP16 nor does it support popular lower-precision data types such as BF16 or TF32.

4) Один чип Corsair обеспечивает производительность 4,8 Petaflops для формата MXINT4, 1,2 Petaflops для MXINT8 и 300 Teraflops для MXINT16. Каждая карта Corsair содержит два чипа, что удваивает потенциальную вычислительную производительность.

Что еще почитать? d-Matrix’s Corsair Whitepaper
Что еще за Groq? Groq’s Software-Defined Hardware for Dataflow Compute