ParetoQ: Scaling Laws in Extremely Low-bit LLM Quantization [Папира] [No Code No Party]
Введение
Вопрос о том, какая битность весов при QAT (Quantization Aware Training), дает наилучшее качество, представляет несомненный интерес как с академической, так и практической точки зрения, и ранее был рассмотрен, в частности, в работе Scaling Laws for Precision, где утверждалось, что оптимальная битность в районе 6-7 бит на параметр.
Однако, подобные выводы сильно чувствительны к качеству процедуры QAT. Успех серии работ по BitNet намекает, что вряд ли все так плохо в низкой битности.
И в данной работе большой коллектив авторов из Меты предлагает пару модификаций улучшения процедуры QAT.
ParetoQ: Scaling Laws in Extremely Low-bit LLM Quantization [Папира] [No Code No Party]
Введение
Вопрос о том, какая битность весов при QAT (Quantization Aware Training), дает наилучшее качество, представляет несомненный интерес как с академической, так и практической точки зрения, и ранее был рассмотрен, в частности, в работе Scaling Laws for Precision, где утверждалось, что оптимальная битность в районе 6-7 бит на параметр.
Однако, подобные выводы сильно чувствительны к качеству процедуры QAT. Успех серии работ по BitNet намекает, что вряд ли все так плохо в низкой битности.
И в данной работе большой коллектив авторов из Меты предлагает пару модификаций улучшения процедуры QAT.
How to Create a Private or Public Channel on Telegram? 5Telegram Channel avatar size/dimensions Hui said the time period and nature of some offences “overlapped” and thus their prison terms could be served concurrently. The judge ordered Ng to be jailed for a total of six years and six months. Earlier, crypto enthusiasts had created a self-described “meme app” dubbed “gm” app wherein users would greet each other with “gm” or “good morning” messages. However, in September 2021, the gm app was down after a hacker reportedly gained access to the user data. Hui said the messages, which included urging the disruption of airport operations, were attempts to incite followers to make use of poisonous, corrosive or flammable substances to vandalize police vehicles, and also called on others to make weapons to harm police.
from us
