Less is More: Recursive Reasoning with Tiny Networks [Статья][Код]
Введение
Большие языковые модели прокачались за последнее время настолько, что уже могут решать (если надлежащим образом завести) сложнейшие олимпиадные задачи и контексты по программированию. Однако, некоторые классы задач (вероятно, из-за формата не очень привычного и удобного для них) до сих пор даются им со скрипом - ARC-AGI 1 / 2 имени Франсуа Шолле, судоку и разные паззлы.
Специализированные небольшие модели, с нужными inductive bias-ами вполне способны с ними конкурировать.
Некоторое время назад вышла Hierarchical Reasoning Model (HRM) , которая при скромных размерах (27M параметров) выбила хорошие метрики на вышеупомянутых головоломках.
В разбираемой сегодня работе было предложено некоторое развитие идеи HRM под названием Tiny Recursion Model (TRM), которое оказалось эффективнее и по размеру (7M параметров) и лучше по метрикам.
Less is More: Recursive Reasoning with Tiny Networks [Статья][Код]
Введение
Большие языковые модели прокачались за последнее время настолько, что уже могут решать (если надлежащим образом завести) сложнейшие олимпиадные задачи и контексты по программированию. Однако, некоторые классы задач (вероятно, из-за формата не очень привычного и удобного для них) до сих пор даются им со скрипом - ARC-AGI 1 / 2 имени Франсуа Шолле, судоку и разные паззлы.
Специализированные небольшие модели, с нужными inductive bias-ами вполне способны с ними конкурировать.
Некоторое время назад вышла Hierarchical Reasoning Model (HRM) , которая при скромных размерах (27M параметров) выбила хорошие метрики на вышеупомянутых головоломках.
В разбираемой сегодня работе было предложено некоторое развитие идеи HRM под названием Tiny Recursion Model (TRM), которое оказалось эффективнее и по размеру (7M параметров) и лучше по метрикам.
Members can post their voice notes of themselves screaming. Interestingly, the group doesn’t allow to post anything else which might lead to an instant ban. As of now, there are more than 330 members in the group. While some crypto traders move toward screaming as a coping mechanism, many mental health experts have argued that “scream therapy” is pseudoscience. Scientific research or no, it obviously feels good. Add the logo from your device. Adjust the visible area of your image. Congratulations! Now your Telegram channel has a face Click “Save”.! On Tuesday, some local media outlets included Sing Tao Daily cited sources as saying the Hong Kong government was considering restricting access to Telegram. Privacy Commissioner for Personal Data Ada Chung told to the Legislative Council on Monday that government officials, police and lawmakers remain the targets of “doxxing” despite a privacy law amendment last year that criminalised the malicious disclosure of personal information. The administrator of a telegram group, "Suck Channel," was sentenced to six years and six months in prison for seven counts of incitement yesterday.
from us
