دوره یادگیری عمیق با رویکرد ریاضی محور
https://biasvariance.ir

فایلِ سرفصل ها در لینک زیر قرار دارد:
https://biasvariance.ir/dynamic_files/courses/sections/Curriculum_QOg1XW5.pdf

ویژگی های دوره :
- بررسی مقالات کلیدی
- بررسی جزئیات عملیات شبکه ها
- بررسی یادگیری عمیق در حوزه های بینایی ماشین، پردازش زبان طبیعی و ...
- بررسی عملکرد شبکه ها و مقایسه آنها
- بررسی بهینه سازی محدب، آمار، ریاضیات و جبر خطی مربوط به یادگیری عمیق


#دوره_آموزشی #اطلاع_رسانی

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

یادگیری ژرف گونه‌ای از الگوریتم‌های یادگیری ماشین است که وابسته به انجام تعداد زیادی محاسبه است. از زمان معرفی این دسته از الگوریتم‌های یادگیری که با نام شبکه‌های عصبی نیز شناخته می‌شوند، سال‌ها سپری شده است ولی رشد واقعی این دسته از روش‌ها به سال‌های اخیر و هم‌زمان با پیشرفت رایانه‌های تک عملیات چند داده باز می‌گردد. این دسته از یادگیری به دلیل حجم بالای محاسبات در زمان آموزش و بازشناسی ، برای سال‌ها مورد استفاده قرار نمی‌گرفت تا اینکه در سال 2012 و با پیشرفت سخت افزارهای پردازشی، در رقابتی در حوزه‌ی بینایی ماشین مورد استفاده قرار گرفت و بی‌سابقه‌ترین نتایج را تا آن زمان بدست آورد.
در سال‌های اخیر و با بهبود سخت افزارهای رایانه‌ای، رایانه‌های تک عملیات چند داده پیشرفت چشم‌گیری داشته‌اند. این پیشرفت سبب شده که واحدهای پردازشگر گرافیکی نیز افزایش سرعت و کارایی داشته باشند، به نحوی که توان امروز آن‌ها چندین برابر سال‌های نزدیک پیشین است. قدرت این رایانه‌ها در انجام کارهای تکراری روی داده‌های ماتریسی است. این عمل سبب می‌شود بتوانند یک عملیات مشخص را هم‌زمان بر روی چند داده انجام دهند. با این کار، عملیاتی که با واحد پردازشگر مرکزی ممکن است ساعت‌ها طول بکشد در کمتر از یک ثانیه قابلیت انجام خواهد داشت.
کلیتِ روش‌های تحتِ نظارتِ یادگیریِ ژرف به این صورت است که شبکه، ورودی و خروجیِ مربوط به داده‌های آموزش را دریافت می‌کند و با توجه به پارامترها و محاسباتی که در داخل شبکه وجود دارد، خروجیِ شبکه روی داده‌های ورودیِ آموزش محاسبه می‌شود. با استفاده از یک تابع هزینه ، خطایی که شبکه برای محاسبه‌ی خروجی دارد، محاسبه می‌شود. در ادامه، با استفاده از روش‌های بهینه‌سازی، تلاش می‌شود وزن‌ها به گونه‌ای تغییر کنند تا خطا بر روی دادگان آموزش کم شود.


#دوره_آموزشی #اطلاع_رسانی

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

در ادامه می توانید تعدادی از فیلم های دوره یادگیری عمیق با رویکرد ریاضی محور را به عنوان نمونه مشاهده کنید:

https://www.aparat.com/playlist/1124527


#دوره_آموزشی #اطلاع_رسانی #ویدیو #یادگیری_عمیق

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

سوالی که برای خیلی از دانشجویان در این ایام که دانشگاه ها تعطیل هستند به وجود می آید این است که آیا روش رایگانی برای آموزش شبکه های عصبی وجود دارد؟ در لینک پایین می توانید پاسخ این سوال را مشاهده کنید:


Are there free cloud services to train machine learning models?


#نکته_آموزشی #دیتاساینس #یادگیری_عمیق

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

تعدادی از مقالات مهم و کلیدی در زمینه Deep Reinforcement Learning:

- https://arxiv.org/pdf/1511.05952.pdf
- https://arxiv.org/pdf/1511.06581.pdf
- https://arxiv.org/pdf/1509.06461.pdf


#معرفی_مقاله #یادگیری_تقویتی

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

حتما می دانید که شافل کردن داده امری ضروری در یادگیری است. علت اصلی این کار این است که لازم است داده ها مستقل از یکدیگر شوند تا در تابع هزینه بتوان توزیع داده ها را مارجینال کرد. به عبارتی دیگر توزیع joint داده ها به ضرب توزیعهای مارجینال تغییر پیدا می کند تا بتوان برای شبکه، تابع هزینه مناسبی داشت. گونه دیگری از یادگیری وجود دارد که می توان در آن داده ها را شافل نکرد و از ترتیب داده ها می توان دانش کسب کرد. ایده این نوع یادگیری با شبکه های عصبی و ادغامشان می تواند ایده مناسبی برای روشهای نوین باشد.

مقاله: https://ronan.collobert.com/pub/matos/2009_curriculum_icml.pdf

Humans and animals learn much better when the examples are not randomly presented but organized in a meaningful order which illustrates gradually more concepts, and gradually more complex ones. Here, we formalize such training strategies in the context of machine learning, and call them “curriculum learning”. In the context of recent research studying the difficulty of training in the presence of non-convex training criteria (for deep deterministic and stochastic neural networks), we explore curriculum learning in various set-ups. The experiments show that significant improvements in generalization can be achieved. We hypothesize that curriculum learning has both an effect on the speed of convergence of the training process to a minimum and, in the case of non convex criteria, on the quality of the local minima obtained: curriculum learning can be seen as a particular form of continuation method (a general strategy for global optimization of non-convex functions).

لینک مقاله مروری: https://arxiv.org/abs/2101.10382



#معرفی_مقاله #یادگیری_عمیق #یادگیری_ماشین

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

#طنز


🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

روشهای ارزیابی در یادگیری cheat sheet

http://www.damienfrancois.be/blog/files/modelperfcheatsheet.pdf



#نکته_آموزشی #ارزیابی_عملکرد #یادگیری_ماشین

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

در یادگیری ما گونه خاصی از inference را داریم. به صورت کلی، حالت هایی که وجود دارند برای inference عبارتند از abduction, induction و deduction. آیا می دانید در یادگیری با نظارت، دقیقا از کدام inference استفاده می کنیم؟

#نکته_آموزشی #دوره_آموزشی #اطلاع_رسانی #ویدیو #یادگیری_عمیق #abduction

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

آیا راهکاری وجود دارد تا بتوان سایر ویژگیها را در کنار تصویر به یک شبکه کانولوشنی داد؟

https://datascience.stackexchange.com/q/31388/28175


#نکته_آموزشی #آموزش_شبکه_عصبی #یادگیری_عمیق #دیتاساینس

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

روشهای بصری سازی شبکه های عصبی

https://datascience.stackexchange.com/q/12851/28175


#نکته_آموزشی #دیتاساینس #یادگیری_عمیق #بصری_سازی


🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

مقاله Noisy Network که یک مقاله برجسته در حوزه یادگیری است.

https://arxiv.org/pdf/1706.10295.pdf

We introduce NoisyNet, a deep reinforcement learning agent with parametric noise added to its weights, and show that the induced stochasticity of the agent’s policy can be used to aid efficient exploration. The parameters of the noise are learned with gradient descent along with the remaining network weights. NoisyNet is straightforward to implement and adds little computational overhead. We find that replacing the conventional exploration heuristics for A3C, DQN and Dueling agents (entropy reward and ?-greedy respectively) with NoisyNet yields substantially higher scores for a wide range of Atari games, in some cases advancing the agent from sub to super-human performance.

همچنین، در این مقاله پیشنهادهای جالبی برای شبکه های با نظارت شده است.



#معرفی_مقاله #یادگیری_عمیق_تقویتی

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

#معرفی_مقاله

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

اگر پردازش تصویر و کامپیوتر ویژن کار کرده باشید حتما با wavelet آشنا هستید. ترکیب wavelet با شبکه های کانولوشنی ایده جالبی است که در مقاله بالا به آن پرداخته شده است.
Purpose: Manual brain tumor segmentation is a challenging task that requires the use of machine learning techniques. One of the machine learning techniques that has been given much attention is the convolutional neural network (CNN). The performance of the CNN can be enhanced by combining other data analysis tools such as wavelet transform. Materials and methods: In this study, one of the famous implementations of CNN, a fully convolutional network (FCN), was used in brain tumor segmentation and its architecture was enhanced by wavelet transform. In this combination, a wavelet transform was used as a complementary and enhancing tool for CNN in brain tumor segmentation.



#معرفی_مقاله #یادگیری_عمیق #بینایی_ماشین

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

یکی از پرکاربردترین زمینه های بینایی ماشین face detection است. در مقاله ای که به تازگی با نام img2pos منتشر شده است، نتایج برجسته ای بدست آمده است که در تصویر شاهد آن هستید.
لینک مقاله


#معرفی_مقاله #بینایی_ماشین #تشخیص_صورت


🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

#زنگ_تفریح

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

در مقالات اخیر بحثی مطرح شده است که زمینه مناسبی برای فعالیت در حوزه یادگیری عمیق برای نوشتن پایان نامه و مقاله است. Vision Transformer بیان می کند که می توانیم از transformer ها که در NLP استفاده می شوند در حوزه computer vision استفاده کنیم. مقاله Searching for Efficient Multi-Stage Vision Transformers که اخیرا نگاشته شده است مربوط به این حوزه است. کد این مقاله متن باز است که می توانید در اینجا مشاهده کنید.

Vision Transformer (ViT) demonstrates that Transformer for natural language processing can be applied to computer vision tasks and result in comparable performance to convolutional neural networks (CNN), which have been studied and adopted in computer vision for years. This naturally raises the question of how the performance of ViT can be advanced with design techniques of CNN. To this end, we propose to incorporate two techniques and present ViT-ResNAS, an efficient multi-stage ViT architecture designed with neural architecture search (NAS). First, we propose residual spatial reduction to decrease sequence lengths for deeper layers and utilize a multi-stage architecture. When reducing lengths, we add skip connections to improve performance and stabilize training deeper networks. Second, we propose weight-sharing NAS with multi architectural sampling. We enlarge a network and utilize its sub-networks to define a search space. A super-network covering all sub-networks is then trained for fast evaluation of their performance. To efficiently train the super-network, we propose to sample and train multiple sub-networks with one forward-backward pass. After that, evolutionary search is performed to discover high-performance network architectures. Experiments on ImageNet demonstrate that ViT-ResNAS achieves better accuracy-MACs and accuracy-throughput trade-offs than the original DeiT and other strong baselines of ViT.

لینک مقاله


#معرفی_مقاله #یادگیری_عمیق #transformer #پیشنهاد_موضوع

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

#طنز

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی