Помните этот пост?
AMD ограничивает проект ZLUDA по запуску CUDA-приложений на своих ускорителях
Продолжение истории👀
AMD ограничивает проект ZLUDA по запуску CUDA-приложений на своих ускорителях
Продолжение истории
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Записки CPU designer'a
AMD ограничивает проект ZLUDA по запуску CUDA-приложений на своих ускорителях
Open Source проект ZLUDA изначально был создан для нативного запуска CUDA-приложений на GPU Intel, но позже автор проекта, Анджей Яник, начал сотрудничество с AMD для создания…
Open Source проект ZLUDA изначально был создан для нативного запуска CUDA-приложений на GPU Intel, но позже автор проекта, Анджей Яник, начал сотрудничество с AMD для создания…
Forwarded from commit -m "better"
https://www.opennet.ru/opennews/art.shtml?num=62499
Очень упорный товарищ, таки подчистил код от наследия из AMD, и продолжает пилить #zluda. Наверное, из этого получится что-то интересное.
Очень упорный товарищ, таки подчистил код от наследия из AMD, и продолжает пилить #zluda. Наверное, из этого получится что-то интересное.
www.opennet.ru
Выпуск ZLUDA 4, универсальной реализации технологии CUDA
Анджей Яник (Andrzej Janik) представил обновление проекта ZLUDA, развивающего открытую реализацию технологии CUDA. Целью проекта является предоставление возможности запуска немодифицированных приложений CUDA на системах с GPU, отличных от GPU NVIDIA, с п…
Please open Telegram to view this post
VIEW IN TELEGRAM
С 1 января Altera официально отделилась от Intel и стала крупнейшей в мире независимой компанией, занимающейся разработкой FPGA.
Директор компании Ed McGettigan отметил, что одним из основных направлений компании остаются развитие и поддержка серии Agilex, а также упрощение работы с FPGA для инженеров.
Новый сайт компании: altera.com👀
Директор компании Ed McGettigan отметил, что одним из основных направлений компании остаются развитие и поддержка серии Agilex, а также упрощение работы с FPGA для инженеров.
Новый сайт компании: altera.com
Please open Telegram to view this post
VIEW IN TELEGRAM
Бывшая CEO RISC-V Calista Redmond перешла в Nvidia.
Конспираси, о том, что она переходит в Intel на место Pat Gelsinger, не оправдалась😑
Конспираси, о том, что она переходит в Intel на место Pat Gelsinger, не оправдалась
Please open Telegram to view this post
VIEW IN TELEGRAM
Зимняя школа программирования для RISC-V
Зимняя школа от YADRO — это лекции и практическая проектная работа, посвящённые программированию и оптимизации программ под архитектуру RISC-V. Лекции будут доступны всем после регистрации, а участие в проектной части — в очном формате, рассчитано на студентов.
Лекторий: пройдёт онлайн с 13 по 30 января 2025 года.
Проектная работа: будет проводиться очно с 3 по 8 февраля 2025 года. Участники смогут работать в группах над реальными задачами под руководством опытных наставников.
Для себя я отметил два интересных доклада:
1) Компиляция: тулчейн на основе GCC, кросс-сборка, multilib.
2) Обзор докладов, новинок и трендов 2024 года по RISC-V.
Подробности и регистрация доступны на сайте школы 🤓
Зимняя школа от YADRO — это лекции и практическая проектная работа, посвящённые программированию и оптимизации программ под архитектуру RISC-V. Лекции будут доступны всем после регистрации, а участие в проектной части — в очном формате, рассчитано на студентов.
Лекторий: пройдёт онлайн с 13 по 30 января 2025 года.
Проектная работа: будет проводиться очно с 3 по 8 февраля 2025 года. Участники смогут работать в группах над реальными задачами под руководством опытных наставников.
Для себя я отметил два интересных доклада:
1) Компиляция: тулчейн на основе GCC, кросс-сборка, multilib.
2) Обзор докладов, новинок и трендов 2024 года по RISC-V.
Подробности и регистрация доступны на сайте школы 🤓
HiPEAC 2025
С 20 по 23 января 2025 года в Барселоне пройдет конференция HiPEAC (European Network on High Performance and Embedded Architecture and Compilation).
В программе — доклады и воркшопы от лидеров индустрии, включая ARM, Nvidia, Google, а также от европейских дизайн-центров и исследовательских институтов.
С программой конференции можно ознакомиться здесь.
А если захотите развиртуализироваться я буду на конференции 20-го и 22-го января, найти меня можно будет у стенда Semidynamics👀
С 20 по 23 января 2025 года в Барселоне пройдет конференция HiPEAC (European Network on High Performance and Embedded Architecture and Compilation).
В программе — доклады и воркшопы от лидеров индустрии, включая ARM, Nvidia, Google, а также от европейских дизайн-центров и исследовательских институтов.
С программой конференции можно ознакомиться здесь.
А если захотите развиртуализироваться я буду на конференции 20-го и 22-го января, найти меня можно будет у стенда Semidynamics
Please open Telegram to view this post
VIEW IN TELEGRAM
Принес вам простой, но полезный инструмент анализа систолических массивов - SystoliC AcceLErator SIMulator (SCALE Sim)
SCALE Sim — это симулятор для анализа ускорителей на базе систолических массивов, для обработки операций свертки, матричного умножения (GEMM). Симулятор позволяет настраивать параметры систолического массива (размер, соотношение сторон) и памяти, а также моделировать производительность различных конфигураций,
что позволяет быстро итеративно проверять гипотезы и анализировать проектные решения для аппаратных ускорителей на базе систолических массивов.
Подробнее о методологии и возможностях SCALE Sim можно прочитать в статье - A Systematic Methodology for Characterizing Scalability of DNN Accelerators using SCALE-Sim
SCALE Sim — это симулятор для анализа ускорителей на базе систолических массивов, для обработки операций свертки, матричного умножения (GEMM). Симулятор позволяет настраивать параметры систолического массива (размер, соотношение сторон) и памяти, а также моделировать производительность различных конфигураций,
что позволяет быстро итеративно проверять гипотезы и анализировать проектные решения для аппаратных ускорителей на базе систолических массивов.
Подробнее о методологии и возможностях SCALE Sim можно прочитать в статье - A Systematic Methodology for Characterizing Scalability of DNN Accelerators using SCALE-Sim
Hola!
Хардвера на конференции было немного, но удалось пообщаться с инженерами из redpitaya.
Компания занимается проектированием программного и аппаратного обеспечения для индустриальных, исследовательских и академических применений.
На фото представлена отладочная плата STEMlab 125-14, подключенная к ПК, с софтом от redpitaya.
Отладочная плата спроектирована на базе AMD Xilinx ZYNQ 7010 SoC.
Среди её особенностей – богатый набор интерфейсов: RF inputs/outputs, GPIO, Ethernet, USB, а также возможность работы через различные среды разработки, такие как MATLAB и LabVIEW.
Но мы со всем справимся через Vivado в batch-mode 👀
Хардвера на конференции было немного, но удалось пообщаться с инженерами из redpitaya.
Компания занимается проектированием программного и аппаратного обеспечения для индустриальных, исследовательских и академических применений.
На фото представлена отладочная плата STEMlab 125-14, подключенная к ПК, с софтом от redpitaya.
Отладочная плата спроектирована на базе AMD Xilinx ZYNQ 7010 SoC.
Среди её особенностей – богатый набор интерфейсов: RF inputs/outputs, GPIO, Ethernet, USB, а также возможность работы через различные среды разработки, такие как MATLAB и LabVIEW.
Please open Telegram to view this post
VIEW IN TELEGRAM
PhD_Thesis_Bertaccini.pdf
12.2 MB
Принес вам диссертацию на тему:
Architectural and Microarchitectural Solutions for Multi-Precision Hardware Acceleration
Работа была выполнена в ETH Zurich, а её рецензентом выступил известный специалист Luca Benini.
Диссертация посвящена архитектурным и микроархитектурным решениям для специализированных аппаратных ускорителей, а также вычислениям с низкоточными (low-precision) форматами чисел с плавающей запятой.
В разделе Doctoral Thesis можно также поискать другие работы по интересующим вас темам.
А если вы вдруг забыли или не знали, что такое HAL Open Science, предлагаю перечитать один из моих старых постов☺️
Architectural and Microarchitectural Solutions for Multi-Precision Hardware Acceleration
Работа была выполнена в ETH Zurich, а её рецензентом выступил известный специалист Luca Benini.
Диссертация посвящена архитектурным и микроархитектурным решениям для специализированных аппаратных ускорителей, а также вычислениям с низкоточными (low-precision) форматами чисел с плавающей запятой.
В разделе Doctoral Thesis можно также поискать другие работы по интересующим вас темам.
А если вы вдруг забыли или не знали, что такое HAL Open Science, предлагаю перечитать один из моих старых постов
Please open Telegram to view this post
VIEW IN TELEGRAM
Лента в LinkedIn с каждым годом все активнее забивается абсолютно неинформативным трэшем, но, наверное, моя любимая рубрика в этом — VLSI-эксперты с методичками о том, как проходить собеседования, с типовыми вопросами для вакансии ASIC/FPGA-разработчика и т. д.
В чем проблема этих методичек? В том, что содержащиеся в них советы и рекомендации не просто бесполезны, а зачастую даже вредны.
И, наверное, я нашел просто эталон таких вредных советов.
Например, как вам имплементация 4-стадийного RISC-процессора в 20 строчках на Verilog или целочисленное АЛУ, которое почему-то называется FPU?
Единственное объяснение, которое я нашел, — это обычный кликбейт, на который я повелся и заодно потащил за собой еще и вас.
Иначе я просто не понимаю, зачем кто-то верстает эти PDF-файлы, постит их — и при этом они набирают сотни реакций и десятки репостов.
Не так давно, на канале обсуждали теорию мертвого интернета , а теперь я выкатываю разбор поста, который с 50% вероятностью составлен ботом👀
Почему я поднял этот вопрос? Потому что начинающим инженерам и студентам теперь приходится не только осваивать сложные технические темы, но и критически оценивать источники информации. В море контента легко наткнуться на бесполезные практики и явную дезинформацию, которые могут не только запутать, но и сформировать у новичков и студентов ошибочные представления о профессии.
Поэтому важно учиться фильтровать учебные материалы, отличать качественные источники от сомнительных.
Stay tuned
В чем проблема этих методичек? В том, что содержащиеся в них советы и рекомендации не просто бесполезны, а зачастую даже вредны.
И, наверное, я нашел просто эталон таких вредных советов.
Например, как вам имплементация 4-стадийного RISC-процессора в 20 строчках на Verilog или целочисленное АЛУ, которое почему-то называется FPU?
Единственное объяснение, которое я нашел, — это обычный кликбейт, на который я повелся и заодно потащил за собой еще и вас.
Иначе я просто не понимаю, зачем кто-то верстает эти PDF-файлы, постит их — и при этом они набирают сотни реакций и десятки репостов.
Не так давно, на канале обсуждали теорию мертвого интернета , а теперь я выкатываю разбор поста, который с 50% вероятностью составлен ботом
Почему я поднял этот вопрос? Потому что начинающим инженерам и студентам теперь приходится не только осваивать сложные технические темы, но и критически оценивать источники информации. В море контента легко наткнуться на бесполезные практики и явную дезинформацию, которые могут не только запутать, но и сформировать у новичков и студентов ошибочные представления о профессии.
Поэтому важно учиться фильтровать учебные материалы, отличать качественные источники от сомнительных.
Stay tuned
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Будничное напоминание, что плавающая точка — зло, а спасение мы найдём только в 1.58 битном типе данных 🙏 🙏 🙏
А пока что принёс вам две классные обзорные статьи по работе с точками, которые плавают.
1. Обзор от Texas Instruments об имплементации Block Floating Point на DSP-ядрах TMS320C54xактуалочка из 1999-го года .
Программная часть не особо интересна, но введение в блочные флоты и теоретическая база хорошо раскрыты в этом руководстве. Рекомендую ознакомиться, особенно в свете популярности новой концепции — MicroScaling Floating Point, о которой мы обязательно поговорим в будущих постах на канале.
A Block Floating Point Implementation on the TMS320C54x DSP
2. В одном из профессиональных чатов нашёл занимательную статью на русском языке - "Стандартизация и тестирование реализаций
математических функций, работающих с числами с
плавающей точкой"
Как видно из названия статьи, материал отлично подойдёт для тех, кто занимается имплементацией математических функций на базе IEEE-754, либо для тех, кто проверяет корректность вычислений или имплементацию, будь то программного, будь то аппаратного алгоритма. Статья неплохо покрывает базовые понятия 754-го стандарта и содержит богатый набор ссылок, которые можно и нужно использовать как дополнительный материал.
А пока что принёс вам две классные обзорные статьи по работе с точками, которые плавают.
1. Обзор от Texas Instruments об имплементации Block Floating Point на DSP-ядрах TMS320C54x
Программная часть не особо интересна, но введение в блочные флоты и теоретическая база хорошо раскрыты в этом руководстве. Рекомендую ознакомиться, особенно в свете популярности новой концепции — MicroScaling Floating Point, о которой мы обязательно поговорим в будущих постах на канале.
A Block Floating Point Implementation on the TMS320C54x DSP
2. В одном из профессиональных чатов нашёл занимательную статью на русском языке - "Стандартизация и тестирование реализаций
математических функций, работающих с числами с
плавающей точкой"
Как видно из названия статьи, материал отлично подойдёт для тех, кто занимается имплементацией математических функций на базе IEEE-754, либо для тех, кто проверяет корректность вычислений или имплементацию, будь то программного, будь то аппаратного алгоритма. Статья неплохо покрывает базовые понятия 754-го стандарта и содержит богатый набор ссылок, которые можно и нужно использовать как дополнительный материал.
Please open Telegram to view this post
VIEW IN TELEGRAM
Как можно не любить FP4, где умножение мантисс, да и пары FP4 операндов можно сделать через простейший LUT, а не заморачиваться с CSA reduction tree и алгоритмом Booth'a, логикой нормализации и прочим классическим floating-point/digital arithmetic стафом? 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from gonzo-обзоры ML статей
Optimizing Large Language Model Training Using FP4 Quantization
Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng Cheng
Статья: https://arxiv.org/abs/2501.17116
Формат мини.
Только обсудили обучение DeepSeek в FP8 (https://www.tgoop.com/gonzo_ML/3294) и упомянули старую работу про FP8-LM (https://arxiv.org/abs/2310.18313) от Microsoft, как та же команда анонсировала обучение в FP4!
С помощью ухищрений в виде differentiable quantization estimator для точного обновления весов и outlier clamping and compensation strategy для предотвращения коллапса активаций достигли качества аналогичного обучению в BF16 и FP8 и обучили 13B модель на 100B токенов.
FP16 использует формат E5M10 (5 бит на экспоненту, 10 на мантиссу), BF16 — E8M7, FP8 обычно есть в двух вариантах с E4M3 (был у DeepSeek-V3) и E5M2, а здесь FP4 сделали в формате E2M1. Ещё один бит — знак, если что.
Нвидиа теперь репортит флопсы в FP4 (https://www.tgoop.com/gonzo_ML/3182), эта разрядность поддерживается новыми GPU, так что можно ожидать ещё одного удвоения производительности/размера моделей относительно DeepSeek, или учетверения относительно более традиционных моделей типа Llama.
Так и доFP1 INT1 дойдём!
Очень круто.
Ruizhe Wang, Yeyun Gong, Xiao Liu, Guoshuai Zhao, Ziyue Yang, Baining Guo, Zhengjun Zha, Peng Cheng
Статья: https://arxiv.org/abs/2501.17116
Формат мини.
Только обсудили обучение DeepSeek в FP8 (https://www.tgoop.com/gonzo_ML/3294) и упомянули старую работу про FP8-LM (https://arxiv.org/abs/2310.18313) от Microsoft, как та же команда анонсировала обучение в FP4!
С помощью ухищрений в виде differentiable quantization estimator для точного обновления весов и outlier clamping and compensation strategy для предотвращения коллапса активаций достигли качества аналогичного обучению в BF16 и FP8 и обучили 13B модель на 100B токенов.
FP16 использует формат E5M10 (5 бит на экспоненту, 10 на мантиссу), BF16 — E8M7, FP8 обычно есть в двух вариантах с E4M3 (был у DeepSeek-V3) и E5M2, а здесь FP4 сделали в формате E2M1. Ещё один бит — знак, если что.
Нвидиа теперь репортит флопсы в FP4 (https://www.tgoop.com/gonzo_ML/3182), эта разрядность поддерживается новыми GPU, так что можно ожидать ещё одного удвоения производительности/размера моделей относительно DeepSeek, или учетверения относительно более традиционных моделей типа Llama.
Так и до
Очень круто.
arXiv.org
Optimizing Large Language Model Training Using FP4 Quantization
The growing computational demands of training large language models (LLMs) necessitate more efficient methods. Quantized training presents a promising solution by enabling low-bit arithmetic...
В работе начал активно пользоваться NotebookLM от Google.
Загрузил в workspace документы, связанные со стандартом RISC-V и некоторыми драфтами расширений, над которыми я сейчас работаю.
Вместо Ctrl + F и поиска по PDF быстро нахожу нужные куски информации не по ключевым словам, а по контексту, что значительно ускоряет работу с документацией и спецификациями.
И что наиболее важно к каждому ответу приводятся ссылки на куски документации, на основе которых сформирован ответ, так что если нет доверия к сгенерированному ответу можно сразу же обратиться к исходнику документа.
Вроде где-то даже видел функцию генерации подкаста на основе загруженных документов, так что загружайте IA-32 Software Developer’s Manuals на 5к страниц и наслаждайтесь 🫠
Остаётся вопрос загрузки чувствительных внутренних документов компании, но для работы с открытыми стандартами или со спецификациями от ARM или IEEE данный сервис подходит отлично.
Загрузил в workspace документы, связанные со стандартом RISC-V и некоторыми драфтами расширений, над которыми я сейчас работаю.
Вместо Ctrl + F и поиска по PDF быстро нахожу нужные куски информации не по ключевым словам, а по контексту, что значительно ускоряет работу с документацией и спецификациями.
И что наиболее важно к каждому ответу приводятся ссылки на куски документации, на основе которых сформирован ответ, так что если нет доверия к сгенерированному ответу можно сразу же обратиться к исходнику документа.
Вроде где-то даже видел функцию генерации подкаста на основе загруженных документов, так что загружайте IA-32 Software Developer’s Manuals на 5к страниц и наслаждайтесь 🫠
Остаётся вопрос загрузки чувствительных внутренних документов компании, но для работы с открытыми стандартами или со спецификациями от ARM или IEEE данный сервис подходит отлично.
Framework (2nd Gen) Event
Коммерчески доступная материнская плата на базе AMD Ryzen™ AI Max 300 Series (NPU 50 TOPS)
Компания Framework разрабатывает модульные ноутбуки с упором на ремонтопригодность и заменяемые компоненты. Такой подход не только снижает количество электронных отходов, но и позволяет продлевать срок службы устройств — вместо полной замены на новую модель можно обновить отдельные компоненты. Кроме того, старые комплектующие можно использовать в кастомных проектах, например, для сборки домашнего сервера или специализированных рабочих станций.
На данный момент отдельно приобрести материнскую плату с процессором AMD Ryzen AI Max 300 Series можно только у компании Framework. При этом сам процессор уже используется и другими производителями ноутбуков, например, MSI.
Поэтому, если есть желание собрать домашний компактный сервер или рабочую станцию, или даже кластер с фокусом на AI-приложения - это выглядит как интересное решение.
В целом, это интересный конкурент миниатюрной рабочей станции от Apple Mac Mini на базе M4 Pro. К слову о компактности, эта плата умещается в 4.5 литровый корпус, но ничто не мешает вам заколхозить свое решение в духе DIY 👀
Стоит учитывать, что у Framework есть вопросы к контролю качества, и их ноутбуки не всегда бывают безупречными, как с софтверной стороны, так и с точки зрения сборки конечного продукта.
Материнская плата, конечно, менее сложное устройство, но всё же кажется, что стоит дождаться первых тестов и отзывов.
Хотя если у вас достаточно времени и энтузиазма, вы можете попробовать себя в роли тестера. В аналогичной роли я побывал сам, заказав fw13 и спустя 4 недели так называемого юзер экспириенса - успешно рефанднул эту машину.
Несмотря на в целом негативный опыт при работе с fw13, все еще считаю, что компания идет в верном направлении и представляет действительно интересные продукты, заслуживающие внимания, а существующие шероховатости будут исправлены в следующих релизах☺️
Коммерчески доступная материнская плата на базе AMD Ryzen™ AI Max 300 Series (NPU 50 TOPS)
Компания Framework разрабатывает модульные ноутбуки с упором на ремонтопригодность и заменяемые компоненты. Такой подход не только снижает количество электронных отходов, но и позволяет продлевать срок службы устройств — вместо полной замены на новую модель можно обновить отдельные компоненты. Кроме того, старые комплектующие можно использовать в кастомных проектах, например, для сборки домашнего сервера или специализированных рабочих станций.
На данный момент отдельно приобрести материнскую плату с процессором AMD Ryzen AI Max 300 Series можно только у компании Framework. При этом сам процессор уже используется и другими производителями ноутбуков, например, MSI.
Поэтому, если есть желание собрать домашний компактный сервер или рабочую станцию, или даже кластер с фокусом на AI-приложения - это выглядит как интересное решение.
В целом, это интересный конкурент миниатюрной рабочей станции от Apple Mac Mini на базе M4 Pro. К слову о компактности, эта плата умещается в 4.5 литровый корпус
Стоит учитывать, что у Framework есть вопросы к контролю качества, и их ноутбуки не всегда бывают безупречными, как с софтверной стороны, так и с точки зрения сборки конечного продукта.
Материнская плата, конечно, менее сложное устройство, но всё же кажется, что стоит дождаться первых тестов и отзывов.
Хотя если у вас достаточно времени и энтузиазма, вы можете попробовать себя в роли тестера. В аналогичной роли я побывал сам, заказав fw13 и спустя 4 недели так называемого юзер экспириенса - успешно рефанднул эту машину.
Несмотря на в целом негативный опыт при работе с fw13, все еще считаю, что компания идет в верном направлении и представляет действительно интересные продукты, заслуживающие внимания, а существующие шероховатости будут исправлены в следующих релизах
Please open Telegram to view this post
VIEW IN TELEGRAM