Physics.Math.Code

🧠Логическое мышление: как большие языковые модели научились логическим рассуждениям без больших финансовых и временных затрат.
Исследователи из T-Bank AI Research и лаборатории Центрального университета Omut AI представили метод, который позволяет развивать сложные reasoning-навыки без полного переобучения — своего рода «точной настройке» логических цепочек в уже обученной сети.

В основе подхода лежит не “переписывание мозга”, а steering vectors — компактные векторы-регуляторы, которые усиливают корректные логические шаги модели. На шести математических бенчмарках метод показал сохранение 100% эффективности полного дообучения при изменении всего 0.0016% параметров 14-миллиардной модели. Требования к памяти сократились с гигабайтов до сотен килобайт. Скорость одного из этапов обучения увеличилась с десятков минут до секунд.

Logit-анализ показывает усиление ключевых маркеров логических рассуждений — таких как “потому что”, “следовательно”, “правильно”. В связи с этим поведение LLM становится легче интерпретировать исследователям, которые получают прозрачный инструмент для изучения того, как именно модель рассуждает.

Результаты исследования протестировали на моделях Qwen и LLaMA и представили на EMNLP 2025.

📕Steering LLM Reasoning Through Bias-Only Adaptation

#наука #math #science #программирование #разработка #IT

💡 Physics.Math.Code // @physics_lib

❤36👍16🔥12🤯4🗿2❤‍🔥1👨‍💻1

www.tgoop.com/physics_lib/14684

17.3K viewsNov 10 at 14:30

🧠Логическое мышление: как большие языковые модели научились логическим рассуждениям без больших финансовых и временных затрат.
Исследователи из T-Bank AI Research и лаборатории Центрального университета Omut AI представили метод, который позволяет развивать сложные reasoning-навыки без полного переобучения — своего рода «точной настройке» логических цепочек в уже обученной сети.

В основе подхода лежит не “переписывание мозга”, а steering vectors — компактные векторы-регуляторы, которые усиливают корректные логические шаги модели. На шести математических бенчмарках метод показал сохранение 100% эффективности полного дообучения при изменении всего 0.0016% параметров 14-миллиардной модели. Требования к памяти сократились с гигабайтов до сотен килобайт. Скорость одного из этапов обучения увеличилась с десятков минут до секунд.

Logit-анализ показывает усиление ключевых маркеров логических рассуждений — таких как “потому что”, “следовательно”, “правильно”. В связи с этим поведение LLM становится легче интерпретировать исследователям, которые получают прозрачный инструмент для изучения того, как именно модель рассуждает.

Результаты исследования протестировали на моделях Qwen и LLaMA и представили на EMNLP 2025.

📕Steering LLM Reasoning Through Bias-Only Adaptation

#наука #math #science #программирование #разработка #IT

💡 Physics.Math.Code // @physics_lib

BY Physics.Math.Code