DLeX: AI Python

مفهومِ Mixture-of-Recursions (MoR) در حوزه مدل‌های زبانی بزرگ خلاصه‌اش اینه که MoR با استفاده از یک روش هوشمندانه فقط برای «توکن‌های سخت‌تر» از پردازش عمیق‌تر استفاده می‌کنه ... یعنی اون بخش‌هایی از متن که نیاز به دقت بیشتر دارن، چند بار در یک بلاک پردازشی مشترک چرخ داده می‌شن.

🧠 نکات جالب مقاله:

@ai_python

فقط از یک بلاک ترنسفورمر مشترک استفاده می‌شه.

برای توکن‌هایی که «نیاز به فکر بیشتری» دارن، اون بلاک چند بار تکرار می‌شه.

@ai_python

نتیجه: مدل با نصف تعداد پارامترها و دو برابر سرعت، کیفیت مشابه یا حتی بهتر می‌ده!

این روش مثل داشتن soft experts برای توکن‌های چالش‌برانگیز عمل می‌کنه. ایده‌ای خلاقانه‌ست که باعث می‌شه محاسبات فقط جایی استفاده بشن که واقعاً لازمن.

لینکم دیگه یهویی آلفاشیو می ذارم به جای آرشیو که برید بحث کنید درباره ش با بقیه :

https://www.alphaxiv.org/abs/2507.10524

Please open Telegram to view this post

VIEW IN TELEGRAM

www.tgoop.com/ai_python/17667

2.59K viewsNaviD DariYa, Jul 17 at 19:06

مفهومِ Mixture-of-Recursions (MoR) در حوزه مدل‌های زبانی بزرگ خلاصه‌اش اینه که MoR با استفاده از یک روش هوشمندانه فقط برای «توکن‌های سخت‌تر» از پردازش عمیق‌تر استفاده می‌کنه ... یعنی اون بخش‌هایی از متن که نیاز به دقت بیشتر دارن، چند بار در یک بلاک پردازشی مشترک چرخ داده می‌شن.

🧠 نکات جالب مقاله:

@ai_python

فقط از یک بلاک ترنسفورمر مشترک استفاده می‌شه.

برای توکن‌هایی که «نیاز به فکر بیشتری» دارن، اون بلاک چند بار تکرار می‌شه.

@ai_python

نتیجه: مدل با نصف تعداد پارامترها و دو برابر سرعت، کیفیت مشابه یا حتی بهتر می‌ده!

این روش مثل داشتن soft experts برای توکن‌های چالش‌برانگیز عمل می‌کنه. ایده‌ای خلاقانه‌ست که باعث می‌شه محاسبات فقط جایی استفاده بشن که واقعاً لازمن.

لینکم دیگه یهویی آلفاشیو می ذارم به جای آرشیو که برید بحث کنید درباره ش با بقیه :

https://www.alphaxiv.org/abs/2507.10524