КПД@quant_prune_distill P.382

Notice: file_put_contents(): Write of 3467 bytes failed with errno=28 No space left on device in /var/www/tgoop/post.php on line 50

Warning: file_put_contents(): Only 12288 of 15755 bytes written, possibly out of free disk space in /var/www/tgoop/post.php on line 50
КПД@quant_prune_distill P.382

QUANT_PRUNE_DISTILL Telegram 382

Собственноручно проверил наличие супервеса (см. оригинальную статью и разбор от gonzo-обзоры ML статей) в Llama-3.2-1B.

Aномальный вес находится в позиции (400 - выходной канал, 1417 - входной канал) в model.layers.1.mlp.down_proj.

Не столь ярко выражен (перплексия на Wikitext-2 (8k context length) выросла с 8.375 до 8.625 при занулении данного веса), но все же очень много для всего одно веса.

[Google Colab для желающих поиграться]

🔥24

www.tgoop.com/quant_prune_distill/382

12.9K viewsDec 9, 2024 at 08:32

tgoop.com/quant_prune_distill/382

Create: 2024-12-09
Last Update: 2025-07-31 18:52:35

Собственноручно проверил наличие супервеса (см. оригинальную статью и разбор от gonzo-обзоры ML статей) в Llama-3.2-1B.

Aномальный вес находится в позиции (400 - выходной канал, 1417 - входной канал) в model.layers.1.mlp.down_proj.

Не столь ярко выражен (перплексия на Wikitext-2 (8k context length) выросла с 8.375 до 8.625 при занулении данного веса), но все же очень много для всего одно веса.

[Google Colab для желающих поиграться]

BY КПД

Share with your friend now:
tgoop.com/quant_prune_distill/382

Open in Telegram

Telegram News

Date: 2025-07-31|

Polls Concise It’s easy to create a Telegram channel via desktop app or mobile app (for Android and iOS): With the administration mulling over limiting access to doxxing groups, a prominent Telegram doxxing group apparently went on a "revenge spree." Ng, who had pleaded not guilty to all charges, had been detained for more than 20 months. His channel was said to have contained around 120 messages and photos that incited others to vandalise pro-government shops and commit criminal damage targeting police stations.
from us

Telegram КПД
FROM American