КПД

Command-R+ AQLM квантизация 1x16 добежала спустя 2 недели и 50+ перезапусков, сбоев инфраструктуры, и прочих шалостей Полтергейста.

Ценность релиза еще дня 3-4 назад была бы на порядок больше, но надо же было довести до ума давно обещанное.

История, к сожалению, не про локальный инференс на consumer-grade GPU, ибо даже сжатая модель весит 31.9 Gb. Целевая аудитория - обладатели GPU уровня от A40, A6000.

https://huggingface.co/ISTA-DASLab/c4ai-command-r-plus-AQLM-2Bit-1x16

huggingface.co

ISTA-DASLab/c4ai-command-r-plus-AQLM-2Bit-1x16 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

🎉12❤1

www.tgoop.com/quant_prune_distill/251

1.74K viewsedited  Apr 21, 2024 at 05:37

Command-R+ AQLM квантизация 1x16 добежала спустя 2 недели и 50+ перезапусков, сбоев инфраструктуры, и прочих шалостей Полтергейста.

Ценность релиза еще дня 3-4 назад была бы на порядок больше, но надо же было довести до ума давно обещанное.

История, к сожалению, не про локальный инференс на consumer-grade GPU, ибо даже сжатая модель весит 31.9 Gb. Целевая аудитория - обладатели GPU уровня от A40, A6000.

https://huggingface.co/ISTA-DASLab/c4ai-command-r-plus-AQLM-2Bit-1x16

BY КПД