سیستم های یادگیری

#یادگیری_ماشین #سخنرانی #ویدیو #بزرگان #لیتمن

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

در خیلی از دانشگاه ها، اساتیدی هستند که بر روی جنبه های تئوری یادگیری عمیق تمرکز می کنند و به دنبال انجام کار نظری در شبکه های عصبی هستند؛ به این معنی که بیشتر از اینکه به دنبال کاربرد یادگیری عمیق در زمینه خاصی باشند، به دنبال رسیدن به روابط یا باندهایی هستند که بتوان در مورد قدرت تعمیم شبکه ها، قدرت یادگیری آنها و مواردی این چنین بحث کرد. با این حال دسته ای دیگر از اساتید در سراسر جهان به دنبال پیاده کردن مفاهیم ریاضی در شبکه های عصبی هستند. یکی از زمینه هایی که اخیرا اساتید به آن علاقه نشان داده اند و مقالات خوبی پیرامون آن به چاپ رسیده abstract algebra است. با استفاده از abstract algebra و lie group (بخوانید لی) در سالهای اخیر مقالات مهمی پیرامون یادگیری عمیق به چاپ رسیده است. در ادامه لینکی را قرار می دهیم که با abstract algebra بیشتر آشنا شوید.

What is Abstract Algebra essentially?



#معرفی #یادگیری_عمیق #جبر #abstract_algebra #معرفی_زمینه #نکته_آموزشی

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

Different activation functions we use in neural networks.

#نکته_آموزشی #یادگیری_عمیق #activation_function

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

وقتی از تابع هزینه Mean Squared Error یا MSE استفاده می کنیم در واقع به این شکل است که مساحت مربع ها را کوچک می کنیم. ضلع هر مربع، قدر مطلقِ اختلاف برچسب واقعی و خروجی مدل است.

#نکته_آموزشی #یادگیری_عمیق #یادگیری_ماشین #MSE

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

معرفی کنفرانس Conference on Computer Vision and Pattern Recognition یا CVPR

کنفرانس CVPR یکی از مهمترین کنفرانسهای مربوط به هوش مصنوعی است که در زمینه های بینایی ماشین و شناسایی الگو هر ساله برگزار می شود. مقالاتی که در این کنفرانس به چاپ می رسند عموما پیرامون استخراج دانش از تصاویر و ویدیو هستند. با این حال در این کنفرانس شاهد مقالات متعددی هستیم که با اعمال روشهای مبتنی بر ریاضیات، از داده، الگو استخراج می کنند. چاپ مقاله در این کنفرانس کمی دشوار است و به همین جهت اعتبار بالایی دارد و محلی مناسب برای ارسال مقالات است. در ادامه تعدادی از تسکهایی که در این کنفرانس معمولا پیگیری می شوند را قرار می دهیم:

- Image Segmentation
- Deep Learning
- Motion Estimation
- Object Recognition
- 3D Reconstruction
- and many more topics ...



#معرفی #معرفی_کنفرانس #یادگیری_ماشین #یادگیری_عمیق #pattern_recognition

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

یکی از مقالات مهمی که پیرامون شبکه های کانولوشنی به چاپ رسید شبکه ResNet بود. در ادامه مقالاتی که پس از این کار و در ادامه برای بهبود عملکرد ارایه شدند را قرار می دهیم. به صورت کلی روند به این صورت است که تعداد محاسبات کم و عملکرد بهبود داده شود. البته توجه کنید که لزوما مقالات خود ResNet را به صورت مستقیم استفاده نکرده اند بلکه پس از این مقاله و در سالهای بعد ارایه شدند؛ برای مثال، خود شبکه ResNet ورژن های متفاوتی دارد با این حال به تعدادی از مقالات اشاره می کنیم که به صورت کلی جریان ساز شدند.

• ResNeXt 2016: https://arxiv.org/pdf/1611.05431.pdf
• SENet 2017: https://arxiv.org/pdf/1709.01507.pdf
• ResNeXt 2017: https://arxiv.org/pdf/1611.05431.pdf
• EfficientNet 2019: https://arxiv.org/pdf/1905.11946.pdf
• RegNet 2020: https://arxiv.org/pdf/2003.13678.pdf
• ResNeSt 2020: https://arxiv.org/pdf/2004.08955.pdf
• NFNet 2021: https://arxiv.org/pdf/2102.06171v1.pdf



#معرفی #معرفی_مقاله #یادگیری_عمیق #resnet #نکته_آموزشی

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

چند سالی از ارایه روش گذشته است ولی برای کسانی که با این زمینه آشنا نیستند خالی از لطف نیست. یک از زمینه های بسیار هیجان انگیز deep reinforcement learning حالت multi agent است. تیم openai برای بازی قایم موشک با قوانینی دشوارتر که در ادامه قرار می دهیم توانست به نتایج بسیار جالبی برسد. اگر دقت کنید در ابتدا hider ها یاد می گیرند که همکاری کنند و پنهان شوند. در ادامه seeker ها یاد می گیرند که راه حل مناسب پیدا کنند. در ادامه hider ها مجدد راه حل پیدا می کنند و رمپ را این بار ابتدا پنهان می کنند بعد دیوار ها را می بندند و ...

Rules:

- The agents can move by setting a force on themselves in the x and y directions as well as rotate along the z-axis.
- The agents can see objects in their line of sight and within a frontal cone.
- The agents can sense distance to objects, walls, and other agents around them using a lidar-like sensor.
- The agents can grab and move objects in front of them.
- The agents can lock objects in place. Only the team that locked an object can unlock it.

با وجود اینکه آپارات با فیلترشکن باز نمی شود، پیشنهاد می دهیم ویدیو را حتما ببینید.

#یادگیری_عمیق #یادگیری_تقویتی #چند_عامله #multi_agent #ویدیو

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

چهارگان‌ها یا کواترنیون‌ها (Quaternion) یک سیستم عددنویسی هستند که به بسط اعداد مختلط می‌انجامند. چهارگان‌ها اولین بار توسط ویلیام روآن همیلتون در اکتبر سال ۱۸۴۳ ابداع و ارائه گردید و از آن پس این مفهوم در مکانیک و در فضای سه بعدی مورد استفاده قرار گرفته‌است.
یکی از تسکهای معروف در زمینه computer vision تسک Facial expression recognition یا FER است که کارهای زیادی در این زمینه صورت گرفته است. پیش از این اشاراتی داشتیم که شبکه های کپسول بدلیل نوع نگاه متفاوتی که نسبت به مسائل دارند، می توانند از شبکه های کانولوشنی عملکرد بهتری داشته باشند. اخیرا مقاله ای چاپ شده پیرامون تسک FER که با استفاده از شبکه کپسول و چهارگان توانسته نتایج جالبی بدست بیاورد. همانطور که قبلا اشاره کرده بودیم، اخیرا خیلی از مقالات به این سمت رفته اند که ایده های ریاضی از دیدگاه های متفاوت را وارد شبکه های عصبی کنند.

Facial expression recognition (FER) is an essential subject of computer vision and human-computer interaction. It has been reported that many factors are closely related to the FER performance such as the pose, facial muscle variations, and the ignored color information in facial images. In this study, we propose a quaternion capsule neural network (Q-CapsNet) with region attention mechanism for FER in color images. The proposed Q-CapsNet is an end-to-end deep learning framework, which adopts the concept of quaternion theory to the Capsule Neural Network and further uses an attention mechanism to focus on the facial region of interests (ROIs). The Q-CapsNet addresses the FER problems in the following aspects. First, the internal dependencies between color channels are captured by the quaternion technique, which is of great importance in color image processing. Second, the Q-CapsNet could disentangle latent geometry information from facial images by quaternion capsules and quaternion routing algorithm. Third, inspired by the fact that facial expressions are mainly determined by several vital facial regions, the region attention mechanism is introduced to extract emotional features from the ROIs of the face. The proposed Q-CapsNet is evaluated on four public color FER datasets including MMI, Oulu-CASIA, RAF-DB, and SFEW. The comprehensive experiments and visualization results demonstrate that the proposed network outperforms comparative models and the state-of-the-art FER methods.

لینک مقاله


#معرفی_مقاله #یادگیری_عمیق #چهارگان

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

یکی از مهمترین مقالات یادگیری عمیق روی داده های زمانی، memory network است که سال 2015 ارایه شد و ویرایشهای متعددی را تجربه کرد. شبکه های LSTM و GRU با اینکه قدرت مناسبی در به خاطر سپردن اطلاعات به مدت زیاد دارند و مشکلات RNN های معمولی را ندارند با این حال دارای ضعف بزرگی هستند. اگر با LSTM یا GRU یا extension های این شبکه ها کار کرده باشید می دانید که تعداد memory cell ها محدود است و به خاطر ذات داده های temporal عملا این شبکه ها نمی توانند خیلی deep شوند (که اصطلاحا با stacked RNN ها شناخته می شوند). زمانی که قرار باشد شبکه تعداد زیادی موضوع را به خاطر بسپارد، LSTMها از خود ضعف نشان می دهند. شبکه های مموری به این صورت هستند که در خود یک حافظه جای داده اند و در حین فرآیند آموزش یاد می گیرند چه اطلاعاتی را در حافظه قرار بدهند یا چه اطلاعاتی را فراموش کنند. در ادامه لینک مقاله که ورژنهای متفاوت آن وجود دارد را قرار می دهیم.

لینک مقاله Memory Networks


#معرفی_مقال #memory_network #یادگیری_عمیق #LSTM

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

معرفی کنفرانس ICML

International Conference on Machine Learning

یکی از کنفرانسهای با ضریب بالا در زمینه هوش مصنوعی و یادگیری ماشین، ICML است که همه ساله برگزار می شود. مقالاتی که در این کنفرانس ارایه می شوند عموما سعی می کنند تمامیِ حوزه های یادگیری ماشین را فراگیرند. در ادامه تعدادی از این حوزه ها را قرار می دهیم:

* Artificial intelligence
* Statistics
* Data science
* Machine vision
* Computational biology
* Speech recognition
* Robotics

یکی از نکاتی که در مورد کنفرانسهای خارج از کشور وجود دارد، این است که لازم است هزینه نسبتا بالایی را برای شرکت در کنفرانس پرداخت کنید. معمولا پیش از برگزاری، صفحه خود کنفرانس لینکی قرار می دهد که برای کاهش هزینه پرداختی درخواست دهید.



#معرفی #معرفی_کنفرانس #یادگیری_عمیق #بینایی_ماشین

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

شبکه های عمیق با وجود اینکه امروزه در بسیاری از تسک ها توانسته اند به عملکردی نزدیک به انسان و حتی بهتر از انسان برسند، دارای ضعف هایی هستند؛ از این میان می توان به نیاز به داده زیاد برای آموزش را نام برد. از سویی دیگر، گاهی اوقات بدلایلی شبکه ها به راحتی گول می خورند که سبب می شود چندان مقاوم نباشند. در ادامه متن پایان نامه دکتری آقای فقری را با نام TRAINING EFFICIENCY AND ROBUSTNESS IN DEEP LEARNING قرار می دهیم که چند روز پیش ارایه شد.

Deep Learning has revolutionized machine learning and artificial intelligence, achieving superhuman performance in several standard benchmarks. It is well-known that deep learning models are inefficient to train; they learn by processing millions of training data multiple times and require powerful computational resources to process large batches of data in parallel at the same time rather than sequentially. Deep learning models also have unexpected failure modes; they can be fooled into misbehaviour, producing unexpectedly incorrect predictions. In this thesis, we study approaches to improve the training efficiency and robustness of deep learning models. In the context of learning visual-semantic embeddings, we find that prioritizing learning on more informative training data increases convergence speed and improves generalization performance on test data. We formalize a simple trick called hard negative mining as a modification to the learning objective function with no computational overhead. Next, we seek improvements to optimization speed in general-purpose optimization methods in deep learning. We show that a redundancy-aware modification to the sampling of training data improves the training speed and develops an efficient method for detecting the diversity of training signal, namely, gradient clustering. Finally, we study adversarial robustness in deep learning and approaches to achieve maximal adversarial robustness without training with additional data. For linear models, we prove guaranteed maximal robustness achieved only by appropriate choice of the optimizer, regularization, or architecture.

#یادگیری_عمیق #شبکه_عصبی #پایان_نامه #پایان_نامه_دکتری #معرفی #نکته_آموزشی

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

یکی از نیازهایی که امروزه در حین آموزش شبکه ها وجود دارد، قابلیت ترک کردنِ فرآیند آموزش از منظرهای متفاوت است. Monitor deep learning model training and hardware usage from mobile یک مجموعه متن باز است که علاوه بر اینکه به شما قابلیت مانیتور کردن از طریق تلفن همراهتان را می دهد، دارای قابلیت های متنوع دیگری نیز است که در ادامه معرفی می کنیم:

[-] Monitor running experiments from mobile phone (or laptop) View Run
[-] Monitor hardware usage on any computer with a single command
[-] Integrate with just 2 lines of code (see examples below)
[-] Keeps track of experiments including infomation like git commit, configurations and hyper-parameters
[-] Keep Tensorboard logs organized
[-] Save and load checkpoints
[-] API for custom visualizations Open In Colab Open In Colab
[-] Pretty logs of training progress
[-] Change hyper-parameters while the model is training
[-] Open source! we also have a small hosted server for the mobile web app

لینک کد


#معرفی_منبع #معرفی_منبع_آموزشی #یادگیری_عمیق #colab #بصری_سازی #tensorboard

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

Dr. Hinton's interview


#مصاحبه #یادگیری_عمیق #هینتون #بزرگان #ویدیو

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

حتما با این موضوع روبه رو شده اید که مقاله ای لازم دارید که خیلی معروف نیست و تنها پیاده سازی نویسندگان آن وجود دارد و پیاده سازی در tensorflow 1 است. برای اجرای کد با tensorflow 2 و ایجاد قابلیت سازگاری، می توانید از وبسایت پایین استفاده کنید. ما تنها با IP آمریکا توانستیم این سایت را باز کنیم.

http://tf2up.ml/

Idea is to make upgrade process to TensorFlow 2.0 of your Jupyter notebooks even easier!


#یادگیری_عمیق #tensorflow #معرفی_منبع_آموزشی #معرفی_منبع

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

یکی از مسایلی که همواره ذهن محققین را درگیر کرده، این است که شبکه های عصبی چه چیزی را یاد می گیرند. به عبارتی دیگر، به شبکه به صورت بلک باکس نگاه نکنیم و بررسی کنیم که اجزای داخلی به چه شکل کار می کنند. یکی از مزیت های این کار این است که به ما کمک می کند تا روشهای فعلی را بهبود ببخشیم. در مجموعه دادگان ImageNet برچسب مربوط به انسان وجود ندارد؛ با این حال، در ویدیو می بینید که لایه های میانیِ شبکه به خوبی انسان را تشخیص می دهند.


#ویدیو #یادگیری_عمیق #شبکه_کانولوشنی

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

چند روز پیش دکتر Abbeel مقاله مهمی چاپ کردند که از ترنزفرمرها برای تصمیم گیری استفاده کرده است. علت اهمیت این موضوع این است که
A transformer learns from sequences, and a reinforcement learning task can be modeled as a repeating sequence of state, action, and reward. Given such a sequence, a transformer can learn to predict the next action (essentially recasting the reinforcement learning task as a supervised learning task). But this approach introduces a problem: If the transformer chooses the next action based on earlier rewards, it won’t learn to take actions that, though they may bring negligible rewards on their own, lay a foundation for winning higher rewards in the future. The solution is to tweak the reward part of the sequence.

لینک مقاله

#یادگیری_عمیق #transformer #یادگیری_عمیق_تقویتی

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

یکی از زمینه های پرطرفدار میان دوستداران NLP، حوزه question answering است. روشهای مبتنی بر یادگیری این زمینه را نیز دچار تحول کرده اند. چند روز پیش مقاله ای مروری پیرامون این موضوع به چاپ رسید.

A review of deep learning in question answering over knowledge bases

Question answering over knowledge bases (KBQA) is a challenging task in natural language processing. It requires machines to answer natural language questions based on large-scale knowledge bases. Recent years have witnessed remarkable success of neural network models on many natural language processing tasks, including KBQA. In this paper, we first review the recent advances of deep learning methods on solving simple questions in two streams, the information extraction style and semantic parsing style. We then introduce how to extend the neural architectures to answer more complex questions ...

#یادگیری_عمیق #QA #بازیابی_اطلاعات #پردازش_زبان_طبیعی #NLP

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

معرفی quantization

شبکه های عصبی به صورت کلی تعداد پارامتر زیادی دارند و متناسب با این پارامترها نیاز به متغیر و فضای ذخیره سازی داریم؛ با این حال، در گجت های قابل حمل مثل تلفن همراه، معمولا ظرفیت حافظه بسیار کم است. یکی از روشها برای کاهش حجم مدلها، تغییر نوع داده ها است. به جای استفاده از نوع float برای داده ها از نوع int هشت بیتی استفاده می کنیم. در نگاه اول شاید به نظر برسد که این موضوع باعث کاهش عملکرد بشود ولی باید اشاره کرد که این موضوع به صورت کلی چشم گیر نیست. اگر rounding error را تصادفی فرض کنیم و به محاسبات خطی شبکه ها به صورت میانگین وزن دار نگاه کنیم، می توان انتظار داشت که خطاها همدیگر را cancel می کنند. در این حالت از 32 بیت به 8 بیت رسیده ایم و عملکرد چندان پایین نیامده است.


#نکته_آموزشی #یادگیری_عمیق #quantization

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

معرفی کتاب

در این پست قصد معرفی کتاب Foundations of Deep Reinforcement Learning را داریم که امسال نسخه نهاییش چاپ شد. کتابهایی که معمولا در زمینه تقویتی عمیق به چاپ می رسند باید یک مصالحه ای داشته باشند بین ارائه مفاهیم جدید و پایه ای. اختلاف زمانی ارایه روشها بسیار بالاست؛ برای مثال، روشهای مبتنی بر میانگین در دهه ی پنجاه میلادی وجود داشته اند ولی روشهای نوینی که مبتنی بر مدلهای غیر خطی هستند برای همین چهار پنج سال اخیر هستند. معمولا کتابها از جمله کتاب دکتر ساتون خیلی وارد ریزه کاری های ریاضی مباحث نمی شوند که مجبور نباشند پیشنیازهای مفصلی ارایه کنند. این کتاب نیز از این قاعده مستثنی نیست ولی با این حال فصول مرتبط با روش های مبتنی بر سیاست عمق مناسبی دارند و شما را در درک این مفاهیم کمک خواهند کرد. از سویی دیگر در کتاب قسمتی وجود دارد که شامل چند فصل است و به صورت متمرکز در مورد طراحی reward function، استیت، موارد مربوط به چک کردن ترنزیشن فانکشن و ... بحث شده است که این کتاب را در نوع خود متمایز از سایر کتابها می کند. از سویی دیگر نوتیشن کتاب به صورت کلی قابل قبول است و گیج کننده نیست. در نهایت به بخش کد زنی می پردازیم. در کتاب در کنار موارد تئوری بخش کدزنی هم قرار دارد و در انتهای هر فصل می توانید توقع داشته باشید که کدهای مربوطه بررسی شده باشند. علاوه بر این نویسندگان کتابخانه جالبی را نیز در کنار کدزنی عادی ارایه کرده اند که می تواند کمک کند که سریع تر کدهای مربوط به یادگیری عمیق تقویتی را داشته باشید.
با وجود مطالب ذکر شده، لازم است ذکر شود که کتاب در هر صورت کتاب جمع و جوری است و به هیچ وجه قصد نداشته که تمامی روشهای موجود را بررسی کند. ولی پس از خواندن کتاب، خواننده در شرایط مناسبی قرار خواهد گرفت.



#معرفی_منبع #معرفی_کتاب #معرفی_منبع_آموزشی #یادگیری_عمیق_تقویتی

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

Future of AI


#ویدیو #یادگیری_عمیق #هینتون #بزرگان

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت