Маск долго тянул интригу, но таки к исходу недели выпустил Grok на волю. https://github.com/xai-org/grok 1️⃣ Здоровенная херобора на 314B. 2️⃣ Код модели и инференса на jax+haiku. 3️⃣ 8 экспертов (на инференсе активируются 2). 4️⃣ Словарь - 128к токенов. 5️⃣ Модель идет с 8-битной квантизацией (что все равно потребует 4 A100, чтобы только уместить) 6️⃣ Длина контекста - 8к 7️⃣ Архитектура навскидку та же, что у Mixtral (Llama-подобный трансформер)
Маск долго тянул интригу, но таки к исходу недели выпустил Grok на волю. https://github.com/xai-org/grok 1️⃣ Здоровенная херобора на 314B. 2️⃣ Код модели и инференса на jax+haiku. 3️⃣ 8 экспертов (на инференсе активируются 2). 4️⃣ Словарь - 128к токенов. 5️⃣ Модель идет с 8-битной квантизацией (что все равно потребует 4 A100, чтобы только уместить) 6️⃣ Длина контекста - 8к 7️⃣ Архитектура навскидку та же, что у Mixtral (Llama-подобный трансформер)
1What is Telegram Channels? Click “Save” ; Public channels are public to the internet, regardless of whether or not they are subscribed. A public channel is displayed in search results and has a short address (link). According to media reports, the privacy watchdog was considering “blacklisting” some online platforms that have repeatedly posted doxxing information, with sources saying most messages were shared on Telegram. The public channel had more than 109,000 subscribers, Judge Hui said. Ng had the power to remove or amend the messages in the channel, but he “allowed them to exist.”
from us
