اخیرا کتاب معروف Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow ویرایش سومش ارایه شد. یکی از کتاب‌های بسیار مناسبی که در زمینه‌ی یادگیری ماشین وجود دارد که میان تئوری و کدزنی بالانس مناسبی دارد، همین کتاب است. خواندن کتاب را توصیه می‌کنیم. از سویی، قیمت دلاری کتاب نیز بسیار مناسب است که همین موضوع باعث شده این کتاب یکی از پرخوانش‌ترین کتاب‌ها در این حوزه باشد.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#خبر #معرفی_منبع_آموزشی #معرفی_منبع #معرفی_کتاب
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

🔸Extension of the deadline for paper submission to the 1th International Conference on Artificial Intelligence and Smart Vehicles

🌐 ICAISV 2023: https://aismartvehicle.aut.ac.ir/


Dear Researchers on Artificial Intelligence and Smart Vehicles

Thanks for your support and sending very valuable articles to the International Conference on Artificial Intelligence and Smart Vehicles. Because the accepted English papers will be published on Springer: CCIS, and accepted Persian papers will be published on CIVILICA, we started the review process on submitted papers carefully.
Also, due to the many requests to extend the opportunity to send more papers to this conference, we decide to extend the submission time until March 20, 2023.
Please share these information to your networks.
Thanks in Advance.
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#اطلاع_رسانی
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

یکی از مقالات بسیار هیجان‌انگیزی که کم‌تر دیده‌ایم در کشور خیلی از آن حرف زده شود، مقاله‌ی Reformer: The Efficient Transformer است. این مقاله ایده‌های بسیار جالبی را پیرامون تبدیل‌کننده‌ها مطرح‌کرده که در کم‌تر مقاله‌ی شبکه‌عصبی شاهد آن هستیم. شاید در ابتدا فهم کامل مقاله سخت باشد، ولی با چند بار مطالعه و کمی جست‌وجو می‌توان به مباحث آن مسلط شد. این مقاله را برای پایان‌نامه‌ی ارشد توصیه می‌کنیم.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#معرفی_مقاله #معرفی_منبع #تبدیل‌کننده #transformer #شبکه_عصبی #یادگیری_عمیق
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

اگر مقالات اخیر تبدیل‌کننده‌ها روی کاربردهای متفاوت را دیده باشید، حتما مشاهده کرده‌اید که این شبکه‌ها روی دادگان سه‌بعدی استفاده می‌شوند. شاید درک این نوع داده‌ها کمی متفاوت با تصاویر ساده باشد. این موضوع در ذخیره‌سازی این‌گونه داده‌ها خودش را به وضوح نشان می‌دهد. اخیرا کتاب 3D deep learning with python به چاپ رسیده است که این زمینه را پوشش می‌دهد. در این زمینه کتاب‌های بسیار محدودی وجود دارند؛ همچنین کارکردن در این زمینه را برای دانشجویان ارشد علاقه‌مند به تصویر، به شدت توصیه می‌کنیم.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#معرفی_کتاب #معرفی_منبع #شبکه_عصبی #یادگیری_عمیق
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

احتمالا پیش از این کم‌تر با اصطلاح federated learning مواجه شده باشید. با توجه به بررسی‌هایمان، این زمینه، زمینه‌ای است که برای آن حتی پایان‌نامه‌های دکتری نیز تعریف می‌شود و کاربرد فرآوانی با توجه به نوع آموزش مدل‌های یادگیری دارد. با این حال، منابع برای این زمینه بسیار کم است. اخیرا کتابی در این زمینه چاپ شده که اطلاعات مفیدی را در اختیارتان قرار می‌دهد. اگر به دنبال تعریف زمینه‌ی تحقیقاتی ارشد هستید، این زمینه را معرفی می‌کنیم.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#معرفی_کتاب #معرفی_منبع #شبکه_عصبی #یادگیری_عمیق
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

استفاده از یادگیری عمیق در پروژه های تجاری - بخش 22

دیتا پایپ‌لاین

یکی از مواردی که بسیار شاهد آن هستیم، عدم استفاده‌ی مناسب از کتاب‌خانه‌ها برای فرآیند ارسال داده به شبکه است. کتاب‌خانه‌هایی نظیر تنسورفلو یا پایتورچ، متدهای فرآوانی برای مدیریت داده دارند؛ با این حال، معمولا دیده می‌شود که در بسیاری از موارد افراد تکه کدهایی که خود برای آماده کردن داده زده‌اند را استفاده می‌کنند. لازم است حتما در زمان آموزش مدل‌های بزرگ بین ساخت مجدد چرخ برای یادگیری و استفاده از راه‌کار صحیح برای ارسال داده تمایز قایل شوید. علت این موضوع این است که اگر از کتاب‌خانه‌های موجود برای یک‌پارچه کردن نوع داده‌ی ورودی به شبکه استفاده نکنید و صرفا کدی بزنید که در آن پیش‌پردازش‌ها را دستی کد بزنید تا یادشان بگیرید یا داده‌ها را با کدزنی خودتان کنار هم قرار دهید، در آینده احتمالا مشکل خواهید داشت؛ زیرا معمولا در طول یادگیری، داده‌ها از منابع مختلف وارد می‌شوند و این موضوع در طول زمان ممکن است ادامه پیدا کند. با کمک این کتابخانه‌ها می‌توان داده‌ها را در نهایت یک‌پارچه و یک نوع کرد و برای انجام این کار کد خیلی زیادی لازم نیست. این در حالی است که اگر همه چیز را از ابتدا کد بزنید، بعدها هم احتمالا باید به این رویه که سرعت‌گیر است ادامه دهید. توصیه می‌کنیم، برای یادگیری روش‌ها، مسیر را از کار اصلی جدا کنید.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#نکته_آموزشی #یادگیری_عمیق #شبکه_عصبی #مثالهای_کاربردی #پروژه_تجاری #داده
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

در هنگام آموزش شبکه‌های عصبی معمولا نیاز است تا در ابتدا مرحله‌ی مربوط به warm-up برای learning rate طی شود. این مرحله به این شکل است که نرخ یادگیری در ابتدا مقداری بسیار کوچک قرار می‌گیرد و به تدریج و طی چند iteration به نرخ اولیه می‌رسد. علت این موضوع این است که در هنگام یادگیری شبکه خیلی به داده‌های اول بایاس نشود و وزن‌ها همچنان در شرایط مناسبی برای داده‌های بعدی باشند. در مقاله‌ی تبدیل‌کننده، استفاده از مرحله‌ی warmp-up یکی از نیازها برای یادگیری است. در مقاله‌ی On Layer Normalization in the Transformer Architecture ساختار داخلی بلوکی تبدیل‌کننده تغییر کوچکی می‌کند تا سبب شود جریان گرادیان بهبود بخشیده شود و مرحله‌ی warm-up ضروری نباشد. در این روش، layer normalization در ابتدای هر زیربلوک صورت می‌گیرد.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#نکته_آموزشی #یادگیری_عمیق #شبکه_عصبی #معرفی_مقاله #transformer
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

یکی از قابلیت‌های سایت انتشارات پکت، اهدای کتابهای رایگان به صورت روزانه است. در ادامه نحوه‌ی استفاده را قرار داده‌ایم. هر چند وقت یک‌بار، کتاب‌های خوبی ارایه می‌شوند. مثل همین امروز 😉

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#خبر #معرفی_منبع_آموزشی #معرفی_منبع #معرفی_کتاب
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

برت بارت بُرت بورت بورت‌بورت ...

احتمالا با مدل‌های مبتنی‌بر برت آشنا باشید. اگر توجه کرده باشید، این دست مقالات، مقالات بسیار پرسایتی هستند و به‌شدت پرکاربرد هستند ولی اصطلاحی که برایشان می‌توان به‌کار برد این است که معمولا مقالات ژورنالی نیستند و بدلیل این‌که نوآوری چندانی ندارند، خیلی ساده نمی‌توان آن‌ها را برای کار ارشد انتخاب کرد که بسط داده شوند. از سویی، تعداد پارامترهای فرآوان این شبکه‌ها نیز فرآیند آموزش را بسیار چالش‌برانگیز می‌کند. توصیه‌ای که داریم این است که اگر سخت‌افزار مناسبی برای آموزش دارید و به این زمینه علاقه دارید، سعی کنید مقالات تبدیل‌کننده‌ها را با ایده‌های موجود در مدل‌های مبتنی‌بر برت ادغام کنید و نوآوری در زمینه‌ی تبدیل‌کننده داشته باشید. به‌عبارتی، این دو خط از کارها را باهم ادغام کنید تا کار غنی‌تری بدست آورید. ما پیش از این به داشتن برداشت جبری از محاسبات داخل تبدیل‌کننده یا معماری جالبی نظیر ریفرمر اشاره کرده بودیم. به همین دلیل توصیه می‌کنیم ایده‌های موجود در جبر خطی و جبر مجرد را در کارتان استفاده کنید تا مقاله شدن کارتان راحت‌تر شود.


ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#نکته_آموزشی #یادگیری_عمیق #bert #شبکه_عصبی #transformer
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

اگر با مقدمات پایتون آشنا هستید، یکی از کتاب‌هایی که خواندن آن را بسیار توصیه می‌کنیم، نسخه‌ی آخر کتاب Fluent Python است که تا میزان زیادی سطح برنامه‌نویسی شما در این زبان را بالا می‌برد تا به یک توسعه‌دهنده‌ی senior نزدیک شوید. یکی از مواردی که در مطالعه‌ی کتاب‌های برنامه‌نویسی بسیار پیش می‌آید این است که در حین مطالعه، مواردی از مطالب را می‌بینید که متوجه نمی‌شوید یا لازم است پیش‌زمینه‌ی بسیار خوبی داشته باشید تا همه‌ی مطالب را متوجه شوید. از ویژگی‌های برجسته‌ی این کتاب که در حین مطالعه بارها با آن روبه‌رو می‌شوید این است که چقدر نویسنده به‌خوبی سطوح مختلف خوانندگان را در نظر گرفته تا با ارجاعات، پانویس‌ها و توضیحات تکمیلی کاری کند که تقریبا همه مطالب را متوجه شوند. خواندن این کتاب را اکیدا توصیه می‌کنیم.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#معرفی_کتاب #معرفی_منبع #پایتون #python
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

چهارشنبه 13 ارديبهشت ماه، ساعت 20:30
https://intrel.aut.ac.ir/en/56-2/

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#اطلاع_رسانی
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#اطلاع_رسانی
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

پیش از این در ارتباط با وظیفه‌ی super resolution صحبت کرده بودیم. این وظیفه در زمینه‌های متفاوتی کاربرد دارد. یکی از کاربرهای مهم، استفاده از این وظیفه در تصاویر پزشکی است. احتمالا اگر در زمینه‌ی تصاویر پزشکی کار کرده باشید می‌دانید که ریاضیاتی که در این حوزه کاربرد دارد کمی متفاوت با سایر زمینه‌های یادگیری است. اخیرا مقاله‌ای مروی در زمینه‌ی super resolution برای تصاویر متفاوت پزشکی با نام Medical Image Super-Resolution Reconstruction Algorithms Based on Deep Learning: A Survey به چاپ رسیده که خواندن آن را برای کار در این زمینه توصیه می‌کنیم.


ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#یادگیری_عمیق #شبکه_عصبی #معرفی_مقاله #super_resolution
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

یکی از نیازهایی که لازم است برنامه‌نویسان در خود پرورش دهند، نحوه‌ی کارکردن با editor کدزنی Vim است. علت اهمیت این موضوع این است که کار کردن با سرور از راه دور باید با terminal انجام شود و در این شرایط نیاز به کدزنی در محیط Vim است. برای این کار سایتی وجود دارد که با بازی کردن به شما کمک می‌کند که به طرز مناسبی Vim را فرابگیرید. تا مرحله‌ای که بازی رایگان است، ویژگی‌های جالبی را می‌توانید فرابگیرید. از سویی، قیمت ماهیانه‌ی استفاده از وبسایتشان برای بازی‌کردن و فراگیری Vim بسیار منطقی‌تر از کتاب‌های موجود است. استفاده از این وبسایت را توصیه می‌کنیم.


ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#معرفی_منبع_آموزشی #معرفی_منبع #معرفی_سایت
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

Thank you for taking the 2023 Stack Overflow Developer Survey, the longest running survey of software developers (and anyone else who codes!) on Earth.

There are seven sections in this survey. The 2nd, 3rd, 4th and 5th sections will appear in a random order.

1. Basic Information
2. Education, Work, and Career
3. Technology and Tech Culture
4. Stack Overflow Usage + Community
5. Artificial Intelligence
6. Professional Developer Series (Optional)
7. Final Questions


ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#اطلاع_رسانی
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

مطلع شدیم که دانشگاه فردوسی سرور گرافیکی در اختیار کاربران قرار می‌دهد. با مقایسه‌ی قیمت‌های سرورهای دلاری نظیر کولب و سرورهای داخلی، ظاهرا قیمت‌های این دانشگاه به‌صرفه‌تر است.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#اطلاع_رسانی
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

مقاله‌ی مهم و با پتانسیل بالایی به تازگی در زمینه‌ی یادگیری تقویتی عمیق به چاپ رسیده که به گفته‌ی نویسندگان، یک چارچوب کلی برای مسایل بهینه‌سازی با توابع هدف گوناگون که می‌توانند مقید باشند، ارایه کرده است. خواندن این مقاله را توصیه می‌کنیم.

Optimization problems are widely used in many real-world applications. These problems are rarely unconstrained and are usually considered constrained optimization problems. Regarding the number of objectives, the optimization problems can be categorized into single- (for one), multi- (usually for two and three), and many- (more than three) objective optimization problems. In this paper, an Any-Objective Optimization (AOO) framework is introduced based on Deep Reinforcement Learning (DRL) models. The term any-objective optimization is coined to indicate the generalized structure of the proposed algorithm that regardless of the number of objectives, can solve the constrained optimization problems with any number of objectives. To trade off the multiple conflicting objectives, RL algorithms can be extended to a framework called Multi-Objective Reinforcement Learning (MORL) ...


ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#یادگیری_عمیق #شبکه_عصبی #معرفی_مقاله #یادگیری_تقویتی_عمیق #بهینه_سازی
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

یکی از وظایف واقعا جذاب در هوش مصنوعی، وظیفه‌ی video prediction است. اخیرا مقاله‌ی بسیار جالبی پیرامون این زمینه به چاپ رسیده است که از مدل‌های مبتنی‌بر پیشبینی ویدیو برای سیستم پاداش‌دهی در یادگیری تقویتی استفاده می‌کند. احتمالا آشنا باشید که طراحی سیستم پاداش‌دهی تا چه میزان اهمیت دارد. اگر برای ارشد به دنبال زمینه می‌گردید، کار با نتایج این مقاله را توصیه می‌کنیم.

Video Prediction Models as Rewards for Reinforcement Learning

Specifying reward signals that allow agents to learn complex behaviors is a longstanding challenge in reinforcement learning. A promising approach is to extract preferences for behaviors from unlabeled videos, which are widely available on the internet. We present Video Prediction Rewards (VIPER), an algorithm that leverages pretrained video prediction models as action-free reward signals for reinforcement learning. Specifically, we first train an autoregressive transformer on expert videos and then use the video prediction likelihoods as reward signals for a reinforcement learning agent. VIPER enables expert-level control without programmatic task rewards across a wide range of DMC, Atari, and RLBench tasks. Moreover, generalization of the video prediction model allows us to derive rewards for an out-of-distribution environment where no expert data is available, enabling cross-embodiment generalization for tabletop manipulation. We see our work as starting point for scalable reward specification from unlabeled videos that will benefit from the rapid advances in generative modeling.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#یادگیری_عمیق #شبکه_عصبی #معرفی_مقاله #یادگیری_تقویتی_عمیق #یادگیری_تقویتی #video_prediction
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

استفاده از یادگیری عمیق در پروژه های تجاری - بخش 23

توجه به ورژن کتاب‌خانه‌ها

اگر با کتاب‌خانه‌هایی مانند تنسورفلو کار کرده باشید، احتمالا می‌دانید که هربار که کتاب‌خانه بروزرسانی می‌شود، احتمال دارد پارامترهای توابع عملکردشان تغییر کند؛ برای مثال، پارامترهای مشابه توابع متفاوتی در ورژن‌های ابتدایی تنسورفلو 2 عملکرد متفاوتی با ورژن‌های متاخر دارند. به همین سبب در زمان استقرار مدل لازم است که حتما حتما در داکیومنتی، خیلی دقیق به ورژن کتاب‌خانه‌های استفاده شده اشاره کنید. از سویی، برخی مواقع لازم می‌شود که کتاب‌خانه‌های کدتان را بروزرسانی کنید. در این شرایط ممکن است ناسازگاری‌هایی به‌وجود آید. راه ایمن برای بروزرسانی کتاب‌خانه‌ها به ورژن جدید، داشتن تست برای قسمت‌های متفاوت است. با این کار، دیگر نیاز به اجرای دستی بخش‌های متفاوت نیست. به هر حال زبان پایتون زبانی کامپایلری نیست و برای یافتن خیلی از خطاها نیاز است که برنامه اجرا شود؛ به همین سبب داشتن تست برای بروزرسانی ضروری است تا متوجه شوید که چه قسمت‌هایی می‌توانند مشکل‌ساز شوند. یک راه‌کار دیگر که می‌تواند کمک‌کننده باشد، استفاده از کتاب‌خانه‌ی mypy برای annotate کردن است ولی این راه‌کار، راه‌کاری نیست که همواره همه‌ی موارد را بدرستی شناسایی کند ولی بودنش می‌تواند بسیار کمک‌کننده باشد.


ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#نکته_آموزشی #یادگیری_عمیق #شبکه_عصبی #مثالهای_کاربردی #پروژه_تجاری
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

یکی از اشتباهاتی که معمولا در برخورد با تبدیل‌کننده‌ها صورت می‌گیرد، این است که گفته می‌شود در ساختار این شبکه‌ها از ضرب پیچشی یا کانولوشن استفاده نمی‌شود. اگر دقت کرده باشید، مرحله‌ای که تبدیل خطی صورت می‌گیرد در عمل تقسیم وزن صورت می‌گیرد. این موضوع در خروجی کدگشا نیز صورت می‌گیرد. درست است که در پیاده‌سازی ماتریس و ضرب ماتریسی استفاده می‌شود ولی در عمل این عملیات کانولوشن با پنجره‌ای با اندازه‌ی یک است؛ با این دیدگاه، خیلی به ایده‌ی نویسندگان که بررسی زیرفضاها است نزدیک نمی‌شویم ولی به ایده‌های جالب‌تری می‌توان فکر کرد. یکی از ایده‌های جالبی که وجود دارد، بررسی انواع کارهایی است که می‌توان با کانولوشن انجام داد. از کارهای ساده‌ای نظیر کانولوشن نقطه‌ای تا کانولوشن‌هایی با پس‌زمینه‌ی ریاضی قوی‌تر نظیر کانولوشن با کمک نظریه گروه که پیش‌از این معرفی کرده بودیم 😉.
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#نکته_آموزشی #یادگیری_عمیق #شبکه_عصبی #transformer
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات