Из "вероятной" утечки опенсорса от опен эй эген вырисовается пока следующее:
1️⃣ Одна модель - 120B MoE, другая - 20B dense. 2️⃣ Веса в FP4 с нативной поддержкой в Blackwell (MXFP4 или NVFP4). 3️⃣ SwiGLU clip (-7,7) - т.е активации режутся по абсолютной величине. Полагаю, было важно для 4-х битного обучения. 4️⃣ 4K нативного контекста с YaRN экстраполяцией до 128к (не жирно). 5️⃣ Скользящее окно аттеншена размера 128 + attention sinks (тоже для квантизации, наверное). 6️⃣ Llama/Mixtral архитектура.
Из "вероятной" утечки опенсорса от опен эй эген вырисовается пока следующее:
1️⃣ Одна модель - 120B MoE, другая - 20B dense. 2️⃣ Веса в FP4 с нативной поддержкой в Blackwell (MXFP4 или NVFP4). 3️⃣ SwiGLU clip (-7,7) - т.е активации режутся по абсолютной величине. Полагаю, было важно для 4-х битного обучения. 4️⃣ 4K нативного контекста с YaRN экстраполяцией до 128к (не жирно). 5️⃣ Скользящее окно аттеншена размера 128 + attention sinks (тоже для квантизации, наверное). 6️⃣ Llama/Mixtral архитектура.
Image: Telegram. Deputy District Judge Peter Hui sentenced computer technician Ng Man-ho on Thursday, a month after the 27-year-old, who ran a Telegram group called SUCK Channel, was found guilty of seven charges of conspiring to incite others to commit illegal acts during the 2019 extradition bill protests and subsequent months. Telegram users themselves will be able to flag and report potentially false content. 6How to manage your Telegram channel? During the meeting with TSE Minister Edson Fachin, Perekopsky also mentioned the TSE channel on the platform as one of the firm's key success stories. Launched as part of the company's commitments to tackle the spread of fake news in Brazil, the verified channel has attracted more than 184,000 members in less than a month.
from us
