انجمن علمی هوش‌مصنوعی و رباتیکز

0:43

This media is not supported in your browser

VIEW IN TELEGRAM

🚀 درک معماری ترانسفورمر 🚀

یک ویدیوی کوتاه و کاربردی از معماری ترانسفورمر که نحوه پردازش زبان طبیعی (NLP) رو به کلی تغییر داده! ترانسفورمرها فوق‌العاده قدرتمند هستند و:

- با استفاده از مکانیزم توجه به خود (Self-Attention)، اهمیت کلمات مختلف در یک جمله رو بررسی می‌کنن. 🤔
 
- پردازش موازی توالی‌های ورودی رو ممکن می‌کنن، که اون‌ها رو سریع‌تر و کارآمدتر از RNN یا LSTM می‌کنه. ⚡️

- توی ترجمه، تولید متن و خیلی چیزهای دیگه عالی عمل می‌کنن چون به خوبی زمینه و وابستگی‌های زبانی رو درک می‌کنن. 🌍

بیا به مفاهیم اصلی بپردازیم:
- توجه به خود و توجه چند سر (Multi-Head Attention) که همزمان روی ورودی‌ها تمرکز می‌کنن. 🎯
- رمزگذاری موقعیتی (Positional Encoding) که ترتیب کلمات رو در حین پردازش موازی حفظ می‌کنه. 🔄
- نقش شبکه‌های عصبی پیشخور (Feedforward Neural Networks) در تبدیل ورودی. 🤖


📍 انجمن علمے هوش‌مصنوعی و رباتیکز
✅ انجمن برتر دانشگاه آزاد واحد همدان
🆔 @robotics_iauh
🆔 @robotics_gp

www.tgoop.com/robotics_iauh/543

500 viewsY.H, Dec 10, 2024 at 08:47

🚀 درک معماری ترانسفورمر 🚀

یک ویدیوی کوتاه و کاربردی از معماری ترانسفورمر که نحوه پردازش زبان طبیعی (NLP) رو به کلی تغییر داده! ترانسفورمرها فوق‌العاده قدرتمند هستند و:

- با استفاده از مکانیزم توجه به خود (Self-Attention)، اهمیت کلمات مختلف در یک جمله رو بررسی می‌کنن. 🤔
 
- پردازش موازی توالی‌های ورودی رو ممکن می‌کنن، که اون‌ها رو سریع‌تر و کارآمدتر از RNN یا LSTM می‌کنه. ⚡️

- توی ترجمه، تولید متن و خیلی چیزهای دیگه عالی عمل می‌کنن چون به خوبی زمینه و وابستگی‌های زبانی رو درک می‌کنن. 🌍

بیا به مفاهیم اصلی بپردازیم:
- توجه به خود و توجه چند سر (Multi-Head Attention) که همزمان روی ورودی‌ها تمرکز می‌کنن. 🎯
- رمزگذاری موقعیتی (Positional Encoding) که ترتیب کلمات رو در حین پردازش موازی حفظ می‌کنه. 🔄
- نقش شبکه‌های عصبی پیشخور (Feedforward Neural Networks) در تبدیل ورودی. 🤖


📍 انجمن علمے هوش‌مصنوعی و رباتیکز
✅ انجمن برتر دانشگاه آزاد واحد همدان
🆔 @robotics_iauh
🆔 @robotics_gp

BY انجمن علمی هوش‌مصنوعی و رباتیکز