tgoop.com/nn_for_science/2508
Last Update:
🧠 HRM: маленькая модель, которая решает большие головоломки
Новая архитектура HRM решает сложные задачи вроде ARC‑AGI и Sudoku‑Extreme имея всего 27 млн параметров и ~1 000 примеров на задачу — без pretraining и chain-of-thought.
🤯 Что это вообще такое?
HRM — это двухуровневая нейросеть:
• H-модуль (медленный): строит стратегию,
• L-модуль (быстрый): реализует её по шагам.
Они итеративно «думают» до тех пор, пока не придут к стабильному решению — внутри одного forward pass, без CoT.
🛠 Как это работает
Модель устроена как диалог двух частей:
Планировщик предлагает стратегию, исполнитель пробует - и цикл повторяется, пока оба не «сходятся» на ответе (fixed-point convergence).
Обучение идёт без раскрутки всех шагов назад - модель учится прямо в точке согласия (implicit gradients).
А встроенный Q‑модуль сам решает, когда «достаточно подумала» и пора отвечать.
📊 Что получилось
• ARC‑AGI: 40.3 % точности — выше многих CoT-моделей.
• Sudoku‑Extreme, Maze‑Hard: 100 % точности, против 0 % у трансформеров.
• Ресурсы: обучение от 2 до 200 GPU-часов — суперэкономично.
⚖️ Почему это важно
HRM показывает: reasoning можно делать не через текст, а внутри модели. Это эффективно по параметрам, быстро в inference и потенциально интерпретируемо.
Но пока всё это работает только на синтетических задачах. Масштабируемость и применимость в реальных кейсах - вопросы на которые только предстоит ответить.
🧩 Итог
HRM — попытка приблизить модели к человеческому мышлению: не просто продолжать текст, а по-настоящему планировать.
Ссылка
🗣️ Верите в latent reasoning?
Или CoT навсегда?
Пишите в комментариях - и поделитесь постом, если было интересно!
BY AI для Всех
Share with your friend now:
tgoop.com/nn_for_science/2508