tgoop.com/machinelearnindigest/1341
Last Update:
Это меньше в 10 000 раз, чем у современных LLM, но результат лучше.
Как работает TRM:
1️⃣ Черновой ответ: модель сразу формирует быстрый набросок решения, а не пишет его по словам.
2️⃣ Скрачпад: создаёт внутреннее пространство для логики и промежуточных рассуждений.
3️⃣ Самокритика: многократно (6 раз) проверяет свои рассуждения, уточняя и исправляя ошибки.
4️⃣ Переписывание: на основе улучшённой логики создаёт новую, более точную версию ответа.
5️⃣ Цикличность: повторяет процесс до 16 раз, пока не достигнет уверенного, логически цельного решения.
💡 Чем интересна модель:
- Меньше затрат на вычисления, а результат выше; высокая эффективность при низких издержках.
- Доказательство того, что собственная логика и архитектура могут быть сильнее простого размера модели. Можно коротко описать ее: «думай, прежде чем действовать».
- Мощные рассуждающие системы становятся доступными даже без огромных кластеров, модель можно запускать на ограниченных ресурсах.
Это не просто «компактаная LLM», это другой способ мышления: модель, которая действительно *думает, прежде чем говорить*.
@ai_machinelearning_big_data
#TinyRecursiveModels #TRM #DeepLearning #NeuralNetworks
