Machine learning Interview

⚡️ Tencent Hunyuan Large - 389B (Total) X 52B (Active) - превосходит Llama 3.1 405B, Mistral 8x22B, DeepSeek V2!

В настоящее время это самая большая модель MoE на основе транспортеров с открытым исходным кодом, содержащая 389 миллиардов параметров и 52 миллиарда активных параметров.

Многоязычный, 128K контекст, использует GQA + CLA для сжатия KV кэша.

https://huggingface.co/OuteAI/OuteTTS-0.1-350M

@machinelearning_interview

👍8🔥2🥰2❤1

www.tgoop.com/machinelearning_interview/1320

3.69K viewsedited  Nov 5, 2024 at 15:07

⚡️ Tencent Hunyuan Large - 389B (Total) X 52B (Active) - превосходит Llama 3.1 405B, Mistral 8x22B, DeepSeek V2!

В настоящее время это самая большая модель MoE на основе транспортеров с открытым исходным кодом, содержащая 389 миллиардов параметров и 52 миллиарда активных параметров.

Многоязычный, 128K контекст, использует GQA + CLA для сжатия KV кэша.

https://huggingface.co/OuteAI/OuteTTS-0.1-350M

@machinelearning_interview

BY Machine learning Interview