Warning: mkdir(): No space left on device in /var/www/tgoop/post.php on line 37

Warning: file_put_contents(aCache/aDaily/post/neural_cat/--): Failed to open stream: No such file or directory in /var/www/tgoop/post.php on line 50
Нейронный Кот@neural_cat P.80
NEURAL_CAT Telegram 80
Выкидываем слои из llama

Чтобы ускорить инференс и снизить потребление памяти, можно просто отказаться от некоторых слоев

От каких? 🤓

От тех, которые почти не меняют вход. Если выход слоя по косинусному расстоянию похож на вход, то выкидываем слой.

Итого, можно выкинуть 25% и просесть всего на 2.7% на MMLU. Читать подробнее тут

Как думаете, можно ли добавить слоев без дообучения, чтоб модель стала умнее? ☺️
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔8👍4



tgoop.com/neural_cat/80
Create:
Last Update:

Выкидываем слои из llama

Чтобы ускорить инференс и снизить потребление памяти, можно просто отказаться от некоторых слоев

От каких? 🤓

От тех, которые почти не меняют вход. Если выход слоя по косинусному расстоянию похож на вход, то выкидываем слой.

Итого, можно выкинуть 25% и просесть всего на 2.7% на MMLU. Читать подробнее тут

Как думаете, можно ли добавить слоев без дообучения, чтоб модель стала умнее? ☺️

BY Нейронный Кот


Share with your friend now:
tgoop.com/neural_cat/80

View MORE
Open in Telegram


Telegram News

Date: |

Choose quality over quantity. Remember that one high-quality post is better than five short publications of questionable value. While the character limit is 255, try to fit into 200 characters. This way, users will be able to take in your text fast and efficiently. Reveal the essence of your channel and provide contact information. For example, you can add a bot name, link to your pricing plans, etc. Ng Man-ho, a 27-year-old computer technician, was convicted last month of seven counts of incitement charges after he made use of the 100,000-member Chinese-language channel that he runs and manages to post "seditious messages," which had been shut down since August 2020. fire bomb molotov November 18 Dylan Hollingsworth yau ma tei
from us


Telegram Нейронный Кот
FROM American