КПД

Теперь пройдемся по каждому из пунктов подробнее.

1) При квантовании весов, каждый параметр принимает одно из небольшого количества возможных значений. Скажем, если квантование в 4 бита, то у нас 2^4 = 16 вариантов. Но, как выбрать эти значения? Самая очевидная и по существу используемая на практике стратегия - задать максимальное и минимальное значение, которое может принимать вес, и разбить интервал на одинаковые промежутки. И если точки распределены равномерно, то это и правда оптимальный выбор. Однако на практике веса скорее распределены в соотвествии с нормальным распределением, имеющим колоколообразную форму. То есть веса обычно кучкуются ближе к центру интервала и вероятность их встретить убывает к краям интервала. Отсюда возникает идея выбрать интервалы таким образом, чтобы в каждый интервал попадала примерно одна и та же доля весов.

На языке высокой науки значения, которые случайная величина не превышает с заданной вероятностью называется квантилями распределения. Например, 10% квантиль - такой значение, что слева от него лежит 10% массы распределения. Для некоторых случайных величин квантили ищутся легко, как для равномерного распределения, но для нормального распределения это табличные значения, которые приходится получать численными методами.

www.tgoop.com/quant_prune_distill/5

225 viewsJun 10, 2023 at 20:26

Теперь пройдемся по каждому из пунктов подробнее.

1) При квантовании весов, каждый параметр принимает одно из небольшого количества возможных значений. Скажем, если квантование в 4 бита, то у нас 2^4 = 16 вариантов. Но, как выбрать эти значения? Самая очевидная и по существу используемая на практике стратегия - задать максимальное и минимальное значение, которое может принимать вес, и разбить интервал на одинаковые промежутки. И если точки распределены равномерно, то это и правда оптимальный выбор. Однако на практике веса скорее распределены в соотвествии с нормальным распределением, имеющим колоколообразную форму. То есть веса обычно кучкуются ближе к центру интервала и вероятность их встретить убывает к краям интервала. Отсюда возникает идея выбрать интервалы таким образом, чтобы в каждый интервал попадала примерно одна и та же доля весов.

На языке высокой науки значения, которые случайная величина не превышает с заданной вероятностью называется квантилями распределения. Например, 10% квантиль - такой значение, что слева от него лежит 10% массы распределения. Для некоторых случайных величин квантили ищутся легко, как для равномерного распределения, но для нормального распределения это табличные значения, которые приходится получать численными методами.

BY КПД