Big Data AI

🧠 ИИ размером всего 27M превзошёл O3-mini, R1 и другие — и он вдохновлён мозгом

Исследователи создали крошечную модель — всего 27 миллионов параметров,
но она уже обходит более крупные модели вроде o3-mini и R1.

И это заставляет весь ИИ-мир выглядеть немного… нелепо.

🔍 Почему она работает так хорошо? Вот 5 ключевых идей:

1. Иерархическая обработка + рекурсия
Модель имитирует мозг: обрабатывает информацию слоями, со временем и обратной связью.

2. Устойчивая сходимость
Специальная архитектура не “застревает”, как это бывает у RNN — сходится стабильно.

3. Приближённый градиент
Обновления выполняются с постоянным объёмом памяти, без разворачивания по времени (в отличие от классических рекуррентных сетей).

4. Глубокое поэтапное обучение
Модель обучается на каждом шаге, но запоминает финальное состояние — как итог размышления.

5. Адаптивное время вычислений
Умеет переключаться между "быстрым" и "медленным" мышлением (System 1 и System 2),
используя механизм остановки + Q-learning для принятия решения, когда пора остановиться.


⚡ Эта работа показывает:
даже маленькая модель может думать глубже, если у неё хорошая архитектура.

📄 Подробнее — в исследовании: https://arxiv.org/abs/2506.21734
🛠 Github: https://github.com/sapientinc/HRM

❤14🔥7👍1

www.tgoop.com/bigdatai/1434

1.58K viewsAug 3 at 07:49

🧠 ИИ размером всего 27M превзошёл O3-mini, R1 и другие — и он вдохновлён мозгом

Исследователи создали крошечную модель — всего 27 миллионов параметров,
но она уже обходит более крупные модели вроде o3-mini и R1.

И это заставляет весь ИИ-мир выглядеть немного… нелепо.

🔍 Почему она работает так хорошо? Вот 5 ключевых идей:

1. Иерархическая обработка + рекурсия
Модель имитирует мозг: обрабатывает информацию слоями, со временем и обратной связью.

2. Устойчивая сходимость
Специальная архитектура не “застревает”, как это бывает у RNN — сходится стабильно.

3. Приближённый градиент
Обновления выполняются с постоянным объёмом памяти, без разворачивания по времени (в отличие от классических рекуррентных сетей).

4. Глубокое поэтапное обучение
Модель обучается на каждом шаге, но запоминает финальное состояние — как итог размышления.

5. Адаптивное время вычислений
Умеет переключаться между "быстрым" и "медленным" мышлением (System 1 и System 2),
используя механизм остановки + Q-learning для принятия решения, когда пора остановиться.


⚡ Эта работа показывает:
даже маленькая модель может думать глубже, если у неё хорошая архитектура.

📄 Подробнее — в исследовании: https://arxiv.org/abs/2506.21734
🛠 Github: https://github.com/sapientinc/HRM

BY Big Data AI