Открытый код ФКН ВШЭ@hse_cs_opensource P.86

Notice: file_put_contents(): Write of 989 bytes failed with errno=28 No space left on device in /var/www/tgoop/post.php on line 50

Warning: file_put_contents(): Only 16384 of 17373 bytes written, possibly out of free disk space in /var/www/tgoop/post.php on line 50
Открытый код ФКН ВШЭ@hse_cs_opensource P.86

HSE_CS_OPENSOURCE Telegram 86

Открытый код ФКН ВШЭ

SAE-Reasoning

Коллаборация ученных из АИРИ, ВШЭ, Сколтеха, МТУСИ и Сбера, посвященная интерпретации больших языковых моделей с помощью SAE - разреженных автоэнкдеров. В репозитории находится код, демонстрирующий, как SAE могут выявлять и корректировать специфические признаки рассуждения внутри больших языковых моделей. Авторы анализируют активации модели при генерации цепочек рассуждений, используя специальную метрику ReasonScore, которая показывает, насколько конкретная латентная компонента связана с логическими словами и фразами. Далее исследователи показывают, как выборочно усиливать такие признаки в процессе генерации: при steering повышается склонность модели к пошаговым объяснениям, перепроверке вычислений и более глубокому анализу. Эксперименты на ряде задач (например, MATH-500) подтверждают, что подобная тонкая настройка увеличивает как количество промежуточных выводов, так и общее качество ответа. Код может быть полезен специалистам, занимающимся интерпретацией внутренних представлений LLM, DL-инженерам и DS-специалистам

статья | код

GitHub - AIRI-Institute/SAE-Reasoning

Contribute to AIRI-Institute/SAE-Reasoning development by creating an account on GitHub.

🔥7

www.tgoop.com/hse_cs_opensource/86

873 viewsedited Mar 28 at 09:07

tgoop.com/hse_cs_opensource/86

Create: 2025-03-28
Last Update: 2025-07-23 11:10:29

SAE-Reasoning

Коллаборация ученных из АИРИ, ВШЭ, Сколтеха, МТУСИ и Сбера, посвященная интерпретации больших языковых моделей с помощью SAE - разреженных автоэнкдеров. В репозитории находится код, демонстрирующий, как SAE могут выявлять и корректировать специфические признаки рассуждения внутри больших языковых моделей. Авторы анализируют активации модели при генерации цепочек рассуждений, используя специальную метрику ReasonScore, которая показывает, насколько конкретная латентная компонента связана с логическими словами и фразами. Далее исследователи показывают, как выборочно усиливать такие признаки в процессе генерации: при steering повышается склонность модели к пошаговым объяснениям, перепроверке вычислений и более глубокому анализу. Эксперименты на ряде задач (например, MATH-500) подтверждают, что подобная тонкая настройка увеличивает как количество промежуточных выводов, так и общее качество ответа. Код может быть полезен специалистам, занимающимся интерпретацией внутренних представлений LLM, DL-инженерам и DS-специалистам

статья | код

BY Открытый код ФКН ВШЭ

Share with your friend now:
tgoop.com/hse_cs_opensource/86

Open in Telegram

Telegram News

Date: 2025-07-23|

Private channels are only accessible to subscribers and don’t appear in public searches. To join a private channel, you need to receive a link from the owner (administrator). A private channel is an excellent solution for companies and teams. You can also use this type of channel to write down personal notes, reflections, etc. By the way, you can make your private channel public at any moment. So far, more than a dozen different members have contributed to the group, posting voice notes of themselves screaming, yelling, groaning, and wailing in various pitches and rhythms. 3How to create a Telegram channel? Some Telegram Channels content management tips
from us

Telegram Открытый код ФКН ВШЭ
FROM American