یکی از زمینه های پرطرفدار در یادگیری عمیق و بینایی ماشین برای کارهای تحقیقاتی، object recognition است. چند روز پیش مدلی برای multi-task recognition ارایه شد. این مدل توانسته از نقاط قوت شبکه های متفاوت استفاده کند تا بتواند عملکرد مناسبی داشته باشد.

Recurrent Attention Models with Object-centric Capsule Representation for Multi-object Recognition

The visual system processes a scene using a sequence of selective glimpses, each driven by spatial and object-based attention. These glimpses reflect what is relevant to the ongoing task and are selected through recurrent processing and recognition of the objects in the scene. In contrast, most models treat attention selection and recognition as separate stages in a feedforward process. Here we show that using capsule networks to create an object-centric hidden representation in an encoder-decoder model with iterative glimpse attention yields effective integration of attention and recognition. We evaluate our model on three multi-object recognition tasks; highly overlapping digits, digits among distracting clutter and house numbers, and show that it learns to effectively move its glimpse window, recognize and reconstruct the objects, all with only the classification as supervision. Our work takes a step toward a general architecture for how to integrate recurrent object-centric representation into the planning of attentional glimpses.


#یادگیری_عمیق #object_detection #معرفی_مقاله #capsule_network #شبکه_عصبی #attention

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

#طنز


🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

در ادامه معرفی اجمالی emotion analysis در NLP و یک مقاله مروری قرار می گیرد. برای این زمینه می توانید پایان نامه و مقالات متعددی را مشاهده کنید. فرض کنید که یک سایت با تعداد کاربر بالا داشته باشید و محصولی تعداد ده هزار نظر برایش ثبت شده باشد. در این صورت نیاز به هوشی که بتواند به این نظرات نمره دهد کاملا حس می شود تا صاحب سایت به سرعت متوجه شود کاربران از محصول راضی بوده اند یا خیر.

A survey on deep learning for textual emotion analysis in social networks

Textual Emotion Analysis (TEA) aims to extract and analyze user emotional states in texts. There has been rapid development of various Deep Learning (DL) methods that have proven successful in many domains such as audio, image, and natural language processing. This trend has drawn increasing numbers of researchers away from traditional machine learning to DL for their scientific research. In this paper, we provide an overview on TEA based on DL methods. After introducing a background for emotion analysis that includes defining emotion, emotion classification methods, and application domains of emotion analysis, we summarize DL technology,and the word/sentence representation learning method. We then categorize existing TEA methods based on text structures and linguistic types: text-oriented monolingual methods, text conversations-oriented monolingual methods, text-oriented cross-linguistic methods,and emoji-oriented cross-linguistic methods. We close by discussing emotion analysis challenges and future research trends. We hope that our survey will assist interested readers in understanding the relationship between TEA and DL methods while also improving TEA development.

#پردازش_زبان_طبیعی #emotion_analysis #مقاله_مروری #معرفی_مقاله #NLP

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

Why do people prefer Pandas to SQL?


#دیتاساینس #python #نکته_آموزشی #pandas


🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

In supervised learning, why is it bad to have correlated features?

#نکته_آموزشی #دیتاساینس #correlated_features


🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

آیا تا به حال به این فکر کرده اید که برای ورودی شبکه عصبی، به جای اینکه تصویر را با روشهای مرسوم کوچک کنید، از روشی استفاده کنید که کیفیت تسکتان را بهبود بخشد. شما می توانید مرحله کوچک سازی تصویر را هم با شبکه عصبی انجام دهید که کیفیت کار بهتر شود. حتما می دانید اگر تصویری برای ما انسانها کیفیت خیلی خوبی داشته باشد، لزوما سبب نمی شود که شبکه عصبی هم رویش خوب کار کند. اخیرا مقاله بسیار مهمی چاپ شده است که با کمکش می توانید عملکرد شبکه هایی که برای recognition و سایر تسکها استفاده می شوند را تا چند درصد بهبود بخشید. لازم به ذکر است که به صورت کلی افزایش کیفیت برای مثال از 97% به 98% بسیار سخت تر از افزایش کیفیت از 50% به 60% برای یک تسک است.
لینک مقاله



#معرفی_مقاله #نکته_آموزشی #یادگیری_عمیق #بینایی_ماشین


🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

#زنگ_تفریح


🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

متن پایان نامه دکتری Explaining generalization in deep learning: progress and fundamental limits

در این پایان نامه ایده های متعددی مطرح شده است که قابلیت استفاده در زمینه های متفاوت یادگیری عمیق را دارند؛ همچنین اگر قصد انتخاب کردن زمینه ای برای فعالیت داشته باشید، سرفصل ها می توانند کمکتان کنند.

This dissertation studies a fundamental open challenge in deep learning theory: why do deep networks generalize well even while being overparameterized, unregularized and fitting the training data to zero error? In the first part of the thesis, we will empirically study how training deep networks via stochastic gradient descent implicitly controls the networks’ capacity. Subsequently, to show how this leads to better generalization, we will derive data-dependent uniform-convergence-based generalization bounds with improved dependencies on the parameter count. Uniform convergence has in fact been the most widely used tool in deep learning literature, thanks to its simplicity and generality. Given its popularity, in this thesis, we will also take a step back to identify the fundamental limits of uniform convergence as a tool to explain generalization. In particular, we will show that in some example overparameterized settings, any uniform convergence bound will provide only a vacuous generalization bound. With this realization in mind, in the last part of the thesis, we will change course and introduce an empirical technique to estimate generalization using unlabeled data. Our technique does not rely on any notion of uniform-convergece-based complexity and is remarkably precise. We will theoretically show why our technique enjoys such precision. We will conclude by discussing how future work could explore novel ways to incorporate distributional assumptions in generalization bounds (such as in the form of unlabeled data) and explore other tools to derive bounds, perhaps by modifying uniform convergence or by developing completely new tools altogether.


#پایان_نامه #پایان_نامه_دکتری #یادگیری_عمیق #generalization


🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

در یادگیری عمیق تقویتی، یکی از گونه های یادگیری روشهای مبتنی بر یادگیری سیاست به صورت مستقیم است. در سال 2017 مقاله بسیار مهمی در این زمینه چاپ شد که می خوانیم:

We propose a new family of policy gradient methods for reinforcement learning, which alternate between sampling data through interaction with the environment, and optimizing a “surrogate” objective function using stochastic gradient ascent. Whereas standard policy gradient methods perform one gradient update per data sample, we propose a novel objective function that enables multiple epochs of minibatch updates. The new methods, which we call proximal policy optimization (PPO), have some of the benefits of trust region policy optimization (TRPO), but they are much simpler to implement, more general, and have better sample complexity (empirically). Our experiments test PPO on a collection of benchmark tasks, including simulated robotic locomotion and Atari game playing, and we show that PPO outperforms other online policy gradient methods, and overall strikes a favorable balance between sample complexity, simplicity, and wall-time.

این روش سرعت بسیار مناسبی دارد و واریانس بسیار کمتری نسبت با سایر روشهای policy based دارد. در ادامه لینک مقاله قرار میگیرد:

Proximal Policy Optimization Algorithms

#یادگیری_عمیق #یادگیری_عمیق_تقویتی #policy_based #معرفی_مقاله #ppo

به تازگی کتابخانه PyTorchVideo ارایه شده است. کسانی که در زمینه پردازش ویدیو کار می کنند می توانند از این کتابخانه استفاده های زیادی کنند.

We introduce PyTorchVideo, an open-source deep-learning library that provides a rich set of modular, efficient, and reproducible components for a variety of video understanding tasks, including classification, detection, self-supervised learning, and low-level processing. The library covers a full stack of video understanding tools including multimodal data loading, transformations, and models that reproduce state-of-the-art performance. PyTorchVideo further supports hardware acceleration that enables real-time inference on mobile devices. The library is based on PyTorch and can be used by any training framework; for example, PyTorchLightning, PySlowFast, or Classy Vision.

برای استفاده از این کتابخانه می توانید به آدرس https://pytorchvideo.org بروید.


#معرفی_منبع #python #معرفی_کتابخانه #pytorch

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

Multi-view dual attention network for 3D object recognition

The existing view-based 3D object classification and recognition methods ignore the inherent hierarchical correlation and distinguishability of views, making it difficult to further improve the classification accuracy. In order to solve this problem, this paper proposes an end-to-end multi-view dual attention network framework for high-precision recognition of 3D objects. On one hand, we obtain three feature layers of query, key, and value through the convolution layer. The spatial attention matrix is generated by the key-value pairs of query and key, and each feature in the value of the original feature space branch is assigned different importance, which clearly captures the prominent detail features in the view, generates the view space shape descriptor, and focuses on the detail part of the view with the feature of category discrimination. On the other hand, a channel attention vector is obtained by compressing the channel information in different views, and the attention weight of each view feature is scaled to find the correlation between the target views and focus on the view with important features in all views. Integrating the two feature descriptors together to generate global shape descriptors of the 3D model, which has a stronger response to the distinguishing features of the object model and can be used for highprecision 3D object recognition. The proposed method achieves an overall accuracy of 96.6% and an average accuracy of 95.5% on the open-source ModelNet40 dataset, compiled by Princeton University when using Resnet50 as the basic CNN model. Compared with the existing deep learning methods, the experimental results demonstrate that the proposed method achieves state-of-the-art performance in the 3D object classification accuracy.


#معرفی_مقاله #3d_object_recognition #یادگیری_عمیق #attention

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

با بهبود عملکرد شبکه های عصبی، امروزه شاهد تکنولوژی های بسیار پیچیده ای هستیم. همانطور که احتمالا می دانید امروزه از یادگیری عمیق در self-driving cars به صورت گسترده ای استفاده می شود. در مقاله غیر آکادمیکی که در ادامه قرار می گیرد، می توانید قسمت های مختلف این خودروها را که از یادگیری عمیق استفاده می کنند مشاهده کنید. هر قسمت زمینه ای گسترده در یادگیری عمیق برای فعالیت های تجاری و آکادمیک است.

https://neptune.ai/blog/self-driving-cars-with-convolutional-neural-networks-cnn


#معرفی_منبع #معرفی_منبع_آموزشی #یادگیری_عمیق #بینایی_ماشین #شبکه_کانولوشنی #self_driving_car

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

یکی از زمینه های فعالیت در NLP شاخه sentiment analysis است. در مقاله ای مروری که چند روز پیش ارایه شد روشهای نوین در این زمینه بررسی شده اند. اگر در این زمینه قصد فعالیت دارید، این مقاله می تواند دید مناسبی از کلیت کار به شما بدهد.

In large-scale social media, sentiment classification is a significant one for connecting gaps among social media contents as well as real-world actions, including public emotional status monitoring, political election prediction, and so on. On the other hand, textual sentiment classification is well studied by various platforms, like Instagram, Twitter, etc. Sentiment classification has many advantages in various fields, like opinion polls, education, and e-commerce. Sentiment classification is an interesting and progressing research area due to its applications in several areas. The information is collected from various people about social, products, and social events by web in sentiment analysis. This review provides a detailed survey of 50 research papers presenting sentiment classification schemes such as active learning-based approach, aspect learning-based method, and machine learning-based approach. The analysis is presented based on the categorization of sentiment classification schemes, the dataset used, software tools utilized, published year, and the performance metrics. Finally, the issues of existing methods considering conventional sentiment classification strategies are elaborated to obtain improved contribution in devising significant sentiment classification strategies. Moreover, the probable future research directions in attaining efficient sentiment classification are provided.

لینک مقاله


#معرفی_مقاله #یادگیری_عمیق #sentiment_analysis #پردازش_زبان_طبیعی #NLP

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

بازی Pong آتاری که بوسیله یک مدل یادگیری عمیق پیاده سازی شده است. مدل فقط فریم های بازی را می گیرد و به خطوط کد بازی دسترسی ندارد.

#یادگیری_عمیق #یادگیری_عمیق_تقویتی #شبکه_عصبی #ویدیو

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

یکی از زمینه های پرکاربرد در شرکتها و دانشگاه ها objcect detection است. با گسترش فناوری، شاهد استفاده از انواع quadcopter ها هستیم. یکی از مواردی که در سالهای اخیر تعداد مقاله بسیار زیادی برای آن به چاپ رسیده، object detection با کمک quadcopter است. به دلیل زوایای مختلفی که اجسام با دوربین این پرنده ها دیده میشوند، مساله detection چالش برانگیز است. در ادامه لینک مقاله بسیار جالبی که چند روز پیش ارائه شد قرار می گیرد. علاقه مندان به computer vision از این مقاله می توانند بسیار استفاده کنند.

Deep Learning for UAV-based Object Detection and Tracking: A Survey

Owing to effective and flexible data acquisition, unmanned aerial vehicle (UAV) has recently become a hotspot across the fields of computer vision (CV) and remote sensing (RS). Inspired by recent success of deep learning (DL), many advanced object detection and tracking approaches have been widely applied to various UAV-related tasks, such as environmental monitoring, precision agriculture, traffic management. This paper provides a comprehensive survey on the research progress and prospects of DL-based UAV object detection and tracking methods. More specifically, we first outline the challenges, statistics of existing methods, and provide solutions from the perspectives of DL-based models in three research topics: object detection from the image, object detection from the video, and object tracking from the video. Open datasets related to UAV-dominated object detection and tracking are exhausted, and four benchmark datasets are employed for performance evaluation using some state-of-the-art methods. Finally, prospects and considerations for the future work are discussed and summarized. It is expected that this survey can facilitate those researchers who come from remote sensing field with an overview of DL-based UAV object detection and tracking methods, along with some thoughts on their further developments.

#یادگیری_عمیق #بینایی_ماشین #UAV #معرفی_مقاله #object_detection

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

شبکه های عمیق تبدیل به یک نام جایگزین برای شبکه های عصبی شده اند. با این حال افزایش عرض شبکه ها نیز تاثیرات خود را می تواند داشته باشد. از سویی، توزیع داده ها یکی از مواردی است که نقش بسیار مهمی در شبکه های عصبی دارد. چند روز پیش مقاله مهمی ارایه شد که می خوانیم:

Wide Neural Networks Forget Less Catastrophically

A growing body of research in continual learning is devoted to overcoming the “Catastrophic Forgetting” of neural networks by designing new algorithms that are more robust to the distribution shifts. While the recent progress in continual learning literature is encouraging, our understanding of what properties of neural networks contribute to catastrophic forgetting is still limited. To address this, instead of focusing on continual learning algorithms, in this work, we focus on the model itself and study the impact of “width” of the neural network architecture on catastrophic forgetting, and show that width has a surprisingly significant effect on forgetting. To explain this effect, we study the learning dynamics of the network from various perspectives such as gradient norm and sparsity, orthogonalization, and lazy training regime. We provide potential explanations that are consistent with the empirical results across different architectures and continual learning benchmarks.

لینک مقاله


#معرفی_مقاله #یادگیری_عمیق


🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

یکی از موضوعاتی که پیرامون شبکه های کپسول وجود دارد، محاسبات زیاد و زمانگیر آنهاست. به تازگی مقاله ای ارایه شده که سرعت این شبکه ها را افزایش می دهد.

Deep Fast Embedded CapsNet (DeepFECapsNet): Going Faster with DeepCaps

Deep Capsule Networks is a proven concept for understanding complex data in computer vision. Deep Capsule Networks achieved state-of-the-art accuracy CIFAR10 which isn’t achieved by shallow capsule networks. Despite all these accomplishments, Deep Capsule Networks are very slow due to the ‘Dynamic Routing’ algorithm in addition to their deep architecture. In this paper, Deep Fast Embedded Capsule Network (Deep-FECapsNet) is introduced. Deep-FECapsNet is a novel deep capsule network architecture that uses 1D convolution based dynamic routing with a fast element-wise multiplication transformation process. It not only competes with the state-of-theart methods in terms of accuracy in the capsule domain, but also excels in terms of speed, and reduced complexity. This is shown by the 58% reduction in the number of trainable parameters and 64% reduction in the average epoch time in the training process. Experimental results shows excellent and verified properties. Index Terms—1D convolutional kernels, CapsNets, Fashion MNIST, CIFAR10.



#معرفی_مقاله #یادگیری_عمیق #capsule_network


🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

همانطور که اطلاع دارید در سالهای اخیر کامپیوترهای کوانتومی رشد زیادی داشته اند. در مقاله ای که به تازگی ارایه شده ایده ی استفاده از شبکه های کانولوشنی با کمک محاسبات کامپیوترهای کوانتومی مطرح شده است. این زمینه بدلیل تازگی می تواند برای فعالیت در ارشد و دکتری رشته های مربوط به کامپوتر بسیار مناسب باشد.

QDCNN: Quantum Dilated Convolutional Neural Network

In recent years, with rapid progress in the development of quantum technologies, quantum machine learning has attracted a lot of interest. In particular, a family of hybrid quantum-classical neural networks, consisting of classical and quantum elements, has been massively explored for the purpose of improving the performance of classical neural networks. In this paper, we propose a novel hybrid quantum-classical algorithm called quantum dilated convolutional neural networks (QDCNNs). Our method extends the concept of dilated convolution, which has been widely applied in modern deep learning algorithms, to the context of hybrid neural networks. The proposed QDCNNs are able to capture larger context during the quantum convolution process while reducing the computational cost. We perform empirical experiments on MNIST and Fashion-MNIST datasets for the task of image recognition and demonstrate that QDCNN models generally enjoy better performances in terms of both accuracy and computation efficiency compared to existing quantum convolutional neural networks (QCNNs).

#معرفی_مقاله #یادگیری_عمیق #شبکه_کانولوشنی #quantum


🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

یکی از روشهایی که اکثر دانشجویان و محققین برای یافتن مقالات علمی استفاده می کنند، جست و جو در گوگل و گوگل اسکالر است. ولی پیرامون این زمینه موتورهای جست و جوی دیگری نیز وجود دارند که قابلیتهای متفاوتی را به شما ارایه می دهند. یکی از این موتورهای جست و جو، Scinapse است. می توانید نام زمینه فعالیت یا سایر مواردی که لازم دارید را وارد کنید و نتایج جالبی بگیرید. یکی از شعارهای این سایت، We’re better than Google Scholar. We mean it است.


#اسکالر #معرفی_منبع #مقاله_علمی #مقاله #خواندن_مقاله #scinapse

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

یکی از نیازهای شاغلین و دانشجویان در حوزه هوش مصنوعی، برنامه نویسی با فریمورک ها است. بدلیل وقت محدود، هر شخص می تواند تعداد محدودی فریمورک بداند. انتخاب فریمورک درست می تواند کمک شایانی به محقق کند. در ادامه، چپتری را معرفی می کنیم که به تازگی پیرامون این زمینه چاپ شده است.

This chapter provides an overview of the different machine learning (ML) and deep learning (DL) frameworks, aiming to show the variety ranging from different open-source initiatives through to standard software vendors and specialized start-ups contributing to the enormous amount of tools to analyze, condense and predict data.

لینک chapter

#فریمورک_یادگیری_عمیق #یادگیری_عمیق #tensorflow #معرفی_منبع #معرفی_منبع_آموزشی #pytorch

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی