QUANT_PRUNE_DISTILL Telegram 524
tgoop.com » United States » КПД » Telegram web » Post 524
КПД
Квантизация в MXFP, кстати, weight-only.

Спрашивается - зачем...

Квантовать в MXFP имеет смысл только для W+A, чтобы воспользоватьcя быстрыми кернелами на Blackwell. MXFP просаживает качество больше, чем INT при той же битности из-за всратой квантизации скейлов.
❤4😁2
www.tgoop.com/quant_prune_distill/524
2K viewsedited  



tgoop.com/quant_prune_distill/524
Create:
Last Update:

Квантизация в MXFP, кстати, weight-only.

Спрашивается - зачем...

Квантовать в MXFP имеет смысл только для W+A, чтобы воспользоватьcя быстрыми кернелами на Blackwell. MXFP просаживает качество больше, чем INT при той же битности из-за всратой квантизации скейлов.

BY КПД




Share with your friend now:
tgoop.com/quant_prune_distill/524

View MORE
Open in Telegram


Telegram News

Date: |

Choose quality over quantity. Remember that one high-quality post is better than five short publications of questionable value. Concise Some Telegram Channels content management tips Developing social channels based on exchanging a single message isn’t exactly new, of course. Back in 2014, the “Yo” app was launched with the sole purpose of enabling users to send each other the greeting “Yo.” “[The defendant] could not shift his criminal liability,” Hui said.
from us


Квантизация в MXFP

 КПД TG
web: 524
КПД.Telegram web
КПД Telegram TG Channel
Telegram Updated:
Telegram КПД
FROM American