Bias Variance

دکتر بنجیو چند روز پیش مقاله جالبی در زمینه‌ی توجه ارایه کردند که شاید مثل مقاله‌ی سال 2014 که انقلابی در زمینه‌ی توجه و شبکه‌های بازگشتی به راه انداخت، مهم باشد. اگر مقایسه کنیم، این مقاله پس‌زمینه‌ی ریاضی بهتری دارد.

Constant Memory Attention Block

Modern foundation model architectures rely on attention mechanisms to effectively capture context. However, these methods require linear or quadratic memory in terms of the number of inputs/datapoints, limiting their applicability in lowcompute domains. In this work, we propose Constant Memory Attention Block (CMAB), a novel general-purpose attention block that computes its output in constant memory and performs updates in constant computation. Highlighting CMABs efficacy, we introduce methods for Neural Processes and Temporal Point Processes. Empirically, we show our proposed methods achieve results competitive with state-of-the-art while being significantly more memory efficient.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#یادگیری_عمیق #شبکه_عصبی #معرفی_مقاله #توجه
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

www.tgoop.com/biasvariance_ir/397

579 viewsJun 29, 2023 at 12:03

دکتر بنجیو چند روز پیش مقاله جالبی در زمینه‌ی توجه ارایه کردند که شاید مثل مقاله‌ی سال 2014 که انقلابی در زمینه‌ی توجه و شبکه‌های بازگشتی به راه انداخت، مهم باشد. اگر مقایسه کنیم، این مقاله پس‌زمینه‌ی ریاضی بهتری دارد.

Constant Memory Attention Block

Modern foundation model architectures rely on attention mechanisms to effectively capture context. However, these methods require linear or quadratic memory in terms of the number of inputs/datapoints, limiting their applicability in lowcompute domains. In this work, we propose Constant Memory Attention Block (CMAB), a novel general-purpose attention block that computes its output in constant memory and performs updates in constant computation. Highlighting CMABs efficacy, we introduce methods for Neural Processes and Temporal Point Processes. Empirically, we show our proposed methods achieve results competitive with state-of-the-art while being significantly more memory efficient.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#یادگیری_عمیق #شبکه_عصبی #معرفی_مقاله #توجه
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

BY Bias Variance