tgoop.com/machinelearnindigest/1350
Last Update:
Главная идея модель: соединить эффективность и масштаб рассуждений в одной архитектуре.
- Всего параметров: 1 трлн, из них ≈ 50 млрд активны на токен (MoE-архитектура).
- Обучена на 20 трлн+ токенов, специально отобранных для задач логического мышления и рассуждений.
Контекст: 128 000 токенов.
Внутри Evo-CoT (Evolutionary Chain of Thought) и Linguistics-Unit RL - новые методы обучения для масштабируемых рассуждений.
Ling-1T- позиционируется, как модель с балансом между скоростью и точностью ответов.
Моделька демонстрирует сильные результаты в задачах кода, математики, логики и фронтенд-генерации.
В архитектуре задействованы Mixture-of-Experts (1/32 активация), MTP слои и маршрутизация экспертов.
Ling-1T показывает, что огромные модели можно сделать не только мощными, но и экономичными.
https://huggingface.co/inclusionAI/Ling-1T
@ai_machinelearning_big_data
#Ling1T #AI #ML #OpenSource #Reasoning #TrillionScale #FP8
