Algorithm design & data structure@AlgorithmDesign_DataStructuer P.1783

ALGORITHMDESIGN_DATASTRUCTUER Telegram 1783

Algorithm design & data structure

🚀 تابع SoftPick: جایگزینی هوشمند برای Softmax در ترنسفورمرها

🔸تابع SoftPick یک تابع جدید برای مکانیزم توجه در ترنسفورمرهاست که برخلاف softmax، خروجی‌اش الزامی برای جمع برابر با ۱ ندارد.
🔸 این روش به‌طور کامل مشکل attention sink را حذف کرده و نقشه‌های توجهی پراکنده‌تر (sparse) ایجاد می‌کند.
🔸 مدل‌هایی که از SoftPick استفاده می‌کنند، با وجود پارامترهای بالا (تا 1.8B)، فعال‌سازی‌های متعادل‌تر و بردارهای پنهان با کشیدگی کمتر تولید می‌کنند.
🔸 در مدل‌های کوانتیزه‌شده (Quantized)، SoftPick حتی در دقت‌های پایین‌تر عملکرد بهتری نسبت به softmax نشان داده است.

🎯 مناسب برای: آموزش با دقت پایین، کوانتیزاسیون، بهینه‌سازی پراکندگی، هرس و تفسیرپذیری بهتر مدل‌ها.

https://arxiv.org/abs/2504.20966

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

www.tgoop.com/AlgorithmDesign_DataStructuer/1783

1.5K viewsJun 3 at 12:30

tgoop.com/AlgorithmDesign_DataStructuer/1783

Create: 2025-06-03
Last Update: 2025-06-29 20:13:33

🚀 تابع SoftPick: جایگزینی هوشمند برای Softmax در ترنسفورمرها

🔸تابع SoftPick یک تابع جدید برای مکانیزم توجه در ترنسفورمرهاست که برخلاف softmax، خروجی‌اش الزامی برای جمع برابر با ۱ ندارد.
🔸 این روش به‌طور کامل مشکل attention sink را حذف کرده و نقشه‌های توجهی پراکنده‌تر (sparse) ایجاد می‌کند.
🔸 مدل‌هایی که از SoftPick استفاده می‌کنند، با وجود پارامترهای بالا (تا 1.8B)، فعال‌سازی‌های متعادل‌تر و بردارهای پنهان با کشیدگی کمتر تولید می‌کنند.
🔸 در مدل‌های کوانتیزه‌شده (Quantized)، SoftPick حتی در دقت‌های پایین‌تر عملکرد بهتری نسبت به softmax نشان داده است.

🎯 مناسب برای: آموزش با دقت پایین، کوانتیزاسیون، بهینه‌سازی پراکندگی، هرس و تفسیرپذیری بهتر مدل‌ها.

https://arxiv.org/abs/2504.20966

#هوش_مصنوعی
📣👨‍💻 @AlgorithmDesign_DataStructuer

BY Algorithm design & data structure

Share with your friend now:
tgoop.com/AlgorithmDesign_DataStructuer/1783

Open in Telegram

Telegram News

Date: 2025-06-29|

"Doxxing content is forbidden on Telegram and our moderators routinely remove such content from around the world," said a spokesman for the messaging app, Remi Vaughn. Activate up to 20 bots best-secure-messaging-apps-shutterstock-1892950018.jpg Telegram offers a powerful toolset that allows businesses to create and manage channels, groups, and bots to broadcast messages, engage in conversations, and offer reliable customer support via bots. Commenting about the court's concerns about the spread of false information related to the elections, Minister Fachin noted Brazil is "facing circumstances that could put Brazil's democracy at risk." During the meeting, the information technology secretary at the TSE, Julio Valente, put forward a list of requests the court believes will disinformation.
from us

Telegram Algorithm design & data structure
FROM American