NN_FOR_SCIENCE Telegram 2550
Context is the new RAM

Объём RAM определяет, что процессор может держать «в голове» прямо сейчас. У LLM эту роль играет контекстное окно - рабочая память, куда попадают инструкции, факты, результаты инструментов и короткие выдержки из документов.

Качество и стоимость ответов LLM зависят не от «магических параметров», а от менеджмента этой памяти: что именно грузим в горячий контекст, что сжимаем в саммари/кэш, а что храним во внешней памяти и подгружаем по запросу.

X
👍28🔥10😁4🤯3



tgoop.com/nn_for_science/2550
Create:
Last Update:

Context is the new RAM

Объём RAM определяет, что процессор может держать «в голове» прямо сейчас. У LLM эту роль играет контекстное окно - рабочая память, куда попадают инструкции, факты, результаты инструментов и короткие выдержки из документов.

Качество и стоимость ответов LLM зависят не от «магических параметров», а от менеджмента этой памяти: что именно грузим в горячий контекст, что сжимаем в саммари/кэш, а что храним во внешней памяти и подгружаем по запросу.

X

BY AI для Всех




Share with your friend now:
tgoop.com/nn_for_science/2550

View MORE
Open in Telegram


Telegram News

Date: |

A vandalised bank during the 2019 protest. File photo: May James/HKFP. Telegram offers a powerful toolset that allows businesses to create and manage channels, groups, and bots to broadcast messages, engage in conversations, and offer reliable customer support via bots. Telegram message that reads: "Bear Market Screaming Therapy Group. You are only allowed to send screaming voice notes. Everything else = BAN. Text pics, videos, stickers, gif = BAN. Anything other than screaming = BAN. You think you are smart = BAN. Concise Telegram channels fall into two types:
from us


Telegram AI для Всех
FROM American