Telegram Web
دانشجویانی که این روزها با colab کار می کنند، با چالشهای متفاوتی روبه رو می شوند. یکی از این چالشها، دانلود کردن پارامترهای شبکه ها و سایر متغیرهای در جریان است. یکی از عوامل این کار این است که با قطع شدن اینترنت، حتما دیده اید که همه چیز به هم می ریزد. وقتی هر چند وقت یکبار اطلاعات را ذخیره و دانلود می کنید، می توانید پس از آپلود مجدد از اطلاعات استفاده کنید. در ادامه لینکی را قرار می دهیم که همراه با کد، کمکتان می کند اطلاعات را ذخیره کرده و دانلود کنید.

How to download dynamic files created during work on Google Colab?


#نکته_آموزشی #colab #یادگیری_عمیق

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی
یکی از کاربردهای مهم یادگیری عمیق در NLP پیدا کردن fake news است. در ادامه مقاله ای را که اخیرا به چاپ رسیده پیرامون متون فارسی، ارجاع می دهیم.

A Decision-Making System for Detecting Fake Persian News by Improving Deep Learning Algorithms– Case Study of Covid-19 News

With the increase of news on social networks, a way to identify fake news has become an essential matter. Classification is a fundamental task in natural language processing (NLP). Convolutional neural network (CNN), as a popular deep learning model, has shown remarkable success in the task of fake news classification. In this paper, new baseline models were studied for fake news classification using CNN. In these models, documents are fed to the network as a 3-dimensional tensor representation to provide sentence-level analysis. Applying such a method enables the models to take advantage of the positional information of the sentences in the texts. Besides, analyzing adjacent sentences allows extracting additional features. The proposed models were compared with the state-of-the-art models using a collection of real and fake news extracted from Twitter about covid-19, and the fusion layer was used as the decision layer in selecting the best feature. The results showed that the proposed models had better performance, particularly in these documents, and the results were obtained with 97.33% accuracy for classification on Covid-19 after reviewing the evaluation criteria of the proposed decision system model.

#معرفی_مقاله #یادگیری_عمیق #fake_news #پردازش_زبان_طبیعی #NLP

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی
قبلا اشاره کرده بودیم که شبکه های کپسول رشد بسیار زیادی کرده اند. اخیرا مقاله ای ارایه شده که ایده شبکه های کپسول و شبکه های GAN را ادغام کرده و نتایج جالبی را بدست آورده است.

GAN Using Capsule Network for Discriminator and Generator

In this paper, we propose Capsule GAN, which incorporates the capsule network into the structure of both discriminator and generator of Generative Adversarial Networks (GAN). Many CNN-based GANs have been studied. Among them, Deep Convolutional GAN (DCGAN) has been attracting particular attention. Other examples include convolutional GAN, auxiliary classifier GAN, Wasserstein GAN (WGAN) which uses Wasserstein distance to prevent mode collapse during the learning process, and Wasserstein GAN-gp (WGAN-gp). However, image generation by GAN is not stable and prone to mode collapse. As a result, the quality of the generated images is not satisfactory. It is expected to generate better quality images by incorporating a capsule network, which compensates for the shortcomings of CNN, into the structure of GAN. Therefore, in this paper, we propose two approaches to generate images with better quality by incorporating the capsule network into GAN. The experimental results show that the proposed method is superior to the conventional method.


#یادگیری_عمیق #GAN #معرفی_مقاله #capsule_network

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی
معرفی کتاب

یکی از کتابهای کلاسیک در زمینه یادگیری، کتاب Reinforcement Learning: An Introduction نوشته ساتون و بارتو است. این کتاب بعد از تقریبا 20 سال، سال 2018 باز نشر شد تا تغییرات مهمی که در این زمینه رخ داده بود را در بر گیرد. بعد از مقاله Alex Net شاهد این بودیم که در سالهای بعد، محققین زیادی در حوزه یادگیری تقویتی، از مدلهای غیر خطی با پیچیدگی بالا استفاده کردند. تا قبل از آن، بدلیل بررسی هایی که انجام شده بود، یادگیری تقویتی با مدلهای غیرخطی خیلی خوب کار نمی کرد. ولی با استفاده از روشهایی که تعدادی از آنها در این کتاب معرفی شده اند، فیلد یادگیری تقویتی با انفجار ذهنی روبه رو شد و تعداد مقالات خوب بسیاری در این زمینه به چاپ رسید. ساختار کتاب به این شکل است که گام به گام و آهسته مطالب را بررسی می کند و دانش قبلی چندانی نیاز نخواهید داشت. کتاب از روشهای tabular شروع می کند و به تدریج روشهای جدید را بررسی می کند. یکی از چالشهای نویسندگان به ویژه در زمینه یادگیری تقویتی، اعمال notation مناسب است. همانطور که در کتاب خواهید خواند، نویسندگان برای فهم مناسب، از روشهایی استفاده کرده اند که در مقایسه با ویرایش قبل، خیلی بهتر است. در این پست، لینک کتاب را که به صورت رایگان در دسترس عموم قرار دارد، قرار داده ایم.


#معرفی_کتاب #معرفی_منبع #معرفی_منبع_آموزشی #یادگیری_تقویتی #یادگیری_تقویتی_عمیق

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی
یکی از فناوری هایی که در سالهای اخیر به وجود آمد و سر و صدای بسیاری کرد، deep fake بود. با استفاده از مدلهایی که در این زمینه هستند، می توان صدا، عکس، ویدیو و ... ساخت که در حقیقت وجود نداشته اند. یکی از چالشهای موجود این است که روشهایی داشته باشیم که بفهمیم آیا سیگنال ورودی با deep fake ساخته شده است یا خیر. در ادامه مقاله ای که چند وقت پیش ارایه شد پیرامون این زمینه را قرار می دهیم. ساخت مدلهایی که بر مبنای deep fake هستند و شناسایی خروجی های مبتنی بر deep fake یکی از شاخه های بسیار جالب برای نوشتن پایان نامه در ارشد و دکتری است. جالب است بدانید در زمینه های تصویر، صوت، ویدیو و ... می توان بر روی این حوزه کار کرد.

An Experimental Evaluation on Deepfake Detection using Deep Face Recognition

Significant advances in deep learning have obtained hallmark accuracy rates for various computer vision applications. However, advances in deep generative models have also led to the generation of very realistic fake content, also known as deepfakes, causing a threat to privacy, democracy, and national security. Most of the current deepfake detection methods are deemed as a binary classification problem in distinguishing authentic images or videos from fake ones using two-class convolutional neural networks (CNNs). These methods are based on detecting visual artifacts, temporal or color inconsistencies produced by deep generative models. However, these methods require a large amount of real and fake data for model training and their performance drops significantly in cross dataset evaluation with samples generated using advanced deepfake generation techniques. In this paper, we thoroughly evaluate the efficacy of deep face recognition in identifying deepfakes, using different loss functions and deepfake generation techniques. Experimental investigations on challenging Celeb-DF and FaceForensics++ deepfake datasets suggest the efficacy of deep face recognition in identifying deepfakes over two-class CNNs and the ocular modality. Reported results suggest a maximum Area Under Curve (AUC) of 0.98 and an Equal Error Rate (EER) of 7.1% in detecting deepfakes using face recognition on the Celeb-DF dataset. This EER is lower by 16.6% compared to the EER obtained for the two-class CNN and the ocular modality on the Celeb-DF dataset. Further on the FaceForensics++ dataset, an AUC of 0.99 and EER of 2.04% were obtained. The use of biometric facial recognition technology has the advantage of bypassing the need for a large amount of fake data for model training and obtaining better generalizability to evolving deepfake creation techniques.

#معرفی_مقاله #deep_fake #یادگیری_عمیق

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی
ill condition

یکی از موضوعاتی که پیرامون آموزش شبکه ها وجود دارد این است که فضای پارامترها بسیار بزرگ و تصورش سخت است ولی اگر بخواهیم به زبان ساده بیان کنیم، اگر در قسمتهای local، حالت تابع هزینه به صورت دایره ای شکل باشد، جهت گرادیان نزولی می تواند جهت مناسبی باشد ولی در صورتی که به شکل بیضی باشد، جهت گرادیان نزولی خوب نیست و باید اصلاح شود تا به هزینه های کمتر برسیم. از روشهایی که می توانند جهت را اصلاح کنند، می توان به روشهای نیوتن و شبه نیوتن اشاره کرد ولی این روشها جدای از محاسبات زیاد در جاهایی ممکن است که خیلی کمک نکنند. وقتی که شکل قسمتهای local، بیضی های خیلی کشیده شده در یک طرف، و فشرده شده از سویی دیگر باشد، محاسباتِ ریاضیِ floating point غیر دقیق که مرسوم هستند، باعث می شوند کوچکترین خطا در محاسبه، سبب تغییرات زیاد در نتیجه شود و اصطلاحا محاسبات ناپایدار است. این موضوع در جبر با نام ماتریس های ill condition شناخته می شود.

#نکته_آموزشی #یادگیری_عمیق #جبر

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت
فلسفه ای متفاوت برای نرمال سازی داده ها

حتما به این موضوع برخورد کرده اید که برای آموزش دادن شبکه ها لازم است حتما داده های ورودی را نرمال کنیم. یکی از دلایل اصلی این کار این است که وزنهای شبکه ها نامتوازن نشوند تا آموزش شبکه طول نکشد. وزنهای نامتوازن باعث می شوند تابع هزینه شکل مناسبی نداشته باشد. اما در این پست می خواهیم دلیل دیگری برای نرمال کردن بیان کنیم که معمولا ذکر نمی شود. یکی از مهمترین دلایل برای نرمال کردن این است که با این کار واحد اندازه گیری از بین می رود. اگر داده ها نرمال نشوند، شما در قسمت خطی هر نورون ممکن است سرعت را با حجم، جمع وزن دار کنید. واحد اندازه گیری یکی متر بر ثانیه است و دیگری متر مکعب و همانطور که می بینید جمعشان خیلی معنی ندارد. وقتی نرمال سازی انجام می دهید، واحدهای اندازه گیری ساده می شوند؛ بنابراین در حین جمع وزن دار کردن، دو عدد که واحد ندارند با هم جمع می شوند و این کار خیلی بهتر است در مقایسه با حالت قبل.

#یادگیری_عمیق #نکته_آموزشی #normalization

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت
در سال 2021 میلادی دکتر هینتون مقاله ای ارایه کرده اند که با اقبال عمومی روبه رو شده است. اگر به دنبال ایجاد روشهای نوین با استفاده از ایده های مناسب هستید، مقاله می تواند کمکتان کند. ایده های مطرح شده براساس نوآوری های اخیر است.

How to represent part-whole hierarchies in a neural network

This paper does not describe a working system. Instead, it presents a single idea about representation which allows advances made by several different groups to be combined into an imaginary system called GLOM 1 . The advances include transformers, neural fields, contrastive representation learning, distillation and capsules. GLOM answers the question: How can a neural network with a fixed architecture parse an image into a partwhole hierarchy which has a different structure for each image? The idea is simply to use islands of identical vectors to represent the nodes in the parse tree. If GLOM can be made to work, it should significantly improve the interpretability of the representations produced by transformer-like systems when applied to vision or language.


#معرفی_مقاله #یادگیری_عمیق #هینتون

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت
با سلام
مفتخریم به اطلاع برسانیم مدرسه پاییزه بین المللی دانشگاه صنعتی امیرکبیر در آذر 1400 شروع به فعالیت نموده است. در این پاییز مدارسی همچون:
1.Filtration
2.Artificial Intelligence
3.Wastewater Filtration
4.Advanced Fibrous Materials
5.Oil, Gas and Petrochemical industries and environmental issues
برقرار می‌باشند.
1.در این مدرسه فصلی؛ اساتید و پژوهشگران جوان و مطرح بین‌المللی با قرار گرفتن در کنار اساتید دانشگاه صنعتی امیرکبیر به ارائه تجربیات خود خواهند پرداخت.
2.این مدارس به زبان انگلیسی و به‌صورت کاملاً آنلاین و غیرحضوری خواهد بود.
3.در انتهای هر مدرسه، گواهی حضور در دوره به شرکت‌کنندگان اعطا خواهد شد.
4.شایان‌ذکر است ثبت‌نام، حضور و دریافت گواهی به دلیل گرنت شدن این مدرسه توسط معاونت امور بین‌الملل دانشگاه صنعتی امیرکبیر به‌صورت کاملاً رایگان خواهد بود.
5.با توجه به محدودیت موجود در ارائه کلاس‌ها، اولویت بر اساس زمان ثبت‌نام خواهد بود.
6.ثبت‌نام از طریقhttps://intevents.aut.ac.ir مقدور میباشد؛ همچنین ایمیل [email protected] آماده پاسخگویی به سؤالات شما و کلیه شرکت‌کنندگان عزیز می‌باشد.
یکی از مسائلی که در شبکه های عصبی لازم است رعایت شود، دقت به سایز ورودی است. در تصاویر اگر aspect ratio را بهم بریزیم، این کار می تواند نتایج نامطلوبی داشته باشد. در ادامه مقاله ای که به تازگی به چاپ رسیده است را ارجاع می دهیم که پیرامون تصاویر پزشکی و aspect ratio به چاپ رسیده است. نتایج این مقاله تاثیرات aspect ratio را بیان می کند.

Is the aspect ratio of cells important in deep learning? A robust comparison of deep learning methods for multi-scale cytopathology cell image classification: From convolutional neural networks to visual transformers


Cervical cancer is a very common and fatal type of cancer in women. Cytopathology images are often used to screen for this cancer. Given that there is a possibility that many errors can occur during manual screening, a computer-aided diagnosis system based on deep learning has been developed. Deep learning methods require a fixed dimension of input images, but the dimensions of clinical medical images are inconsistent. The aspect ratios of the images suffer while resizing them directly. Clinically, the aspect ratios of cells inside cytopathological images provide important information for doctors to diagnose cancer. Therefore, it is difficult to resize directly. However, many existing studies have resized the images directly and have obtained highly robust classification results. To determine a reasonable interpretation, we have conducted a series of comparative experiments. First, the raw data of the SIPaKMeD dataset are pre-processed to obtain standard and scaled datasets. Then, the datasets are resized to 224 × 224 pixels. Finally, 22 deep learning models are used to classify the standard and scaled datasets. The results of the study indicate that deep learning models are robust to changes in the aspect ratio of cells in cervical cytopathological images. This conclusion is also validated via the Herlev dataset.


#یادگیری_عمیق #معرفی_مقاله #بینایی_ماشین

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت
چند روز پیش در آرکایو مقاله ای مروری قرار گرفت که در حوزه green deep learning است. در ادامه می خوانیم:

A Survey on Green Deep Learning

In recent years, larger and deeper models are springing up and continuously pushing state-of-the-art (SOTA) results across various fields like natural language processing (NLP) and computer vision (CV). However, despite promising results, it needs to be noted that the computations required by SOTA models have been increased at an exponential rate. Massive computations not only have a surprisingly large carbon footprint but also have negative effects on research inclusiveness and deployment on real-world applications. Green deep learning is an increasingly hot research field that appeals to researchers to pay attention to energy usage and carbon emission during model training and inference. The target is to yield novel results with lightweight and efficient technologies. Many technologies can be used to achieve this goal, like model compression and knowledge distillation. This paper focuses on presenting a systematic review of the development of Green deep learning technologies. We classify these approaches into four categories: (1) compact networks, (2) energy-efficient training strategies, (3) energy-efficient inference approaches, and (4) efficient data usage. For each category, we discuss the progress that has been achieved and the unresolved challenges.

پیشنهاد می کنیم اگر با این زمینه آشنا نیستید، حتما فهرست مطالب را ببینید. این زمینه می تواند به عنوان حوزه ای برای انجام پایان نامه انتخاب شود.


#مقاله_مروری #معرفی_مقاله #green_deep_learning #یادگیری_عمیق

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت
انتخاب شبکه مناسب یکی از مسائلی است که نیاز به دانش دارد و لازم است طراح شبکه از قبل پیرامون مسئله اطلاعات داشته باشد و ویژگی ها و شرایط کار را بسنجد تا تصمیم درستی بگیرد. در ادامه مقاله A Comprehensive Survey of Neural Architecture Search: Challenges and Solutions را ارجاع می دهیم که در سال 2021 ویرایش سومش ارایه شد.

Deep learning has made breakthroughs and substantial in many fields due to its powerful automatic representation capabilities. It has been proven that neural architecture design is crucial to the feature representation of data and the final performance. However, the design of the neural architecture heavily relies on the researchers' prior knowledge and experience. And due to the limitations of human' inherent knowledge, it is difficult for people to jump out of their original thinking paradigm and design an optimal model. Therefore, an intuitive idea would be to reduce human intervention as much as possible and let the algorithm automatically design the neural architecture. Neural Architecture Search (NAS) is just such a revolutionary algorithm, and the related research work is complicated and rich. Therefore, a comprehensive and systematic survey on the NAS is essential. Previously related surveys have begun to classify existing work mainly based on the key components of NAS: search space, search strategy, and evaluation strategy. While this classification method is more intuitive, it is difficult for readers to grasp the challenges and the landmark work involved. Therefore, in this survey, we provide a new perspective: beginning with an overview of the characteristics of the earliest NAS algorithms, summarizing the problems in these early NAS algorithms, and then providing solutions for subsequent related research work. Besides, we conduct a detailed and comprehensive analysis, comparison, and summary of these works. Finally, we provide some possible future research directions.

همچنین کد مقاله را می توانید از اینجا مطالعه کنید.

#یادگیری_عمیق #شبکه_عصبی #معرفی_مقاله #معماری_شبکه

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت
در سیستم های مبتنی بر هوش مصنوعی همانند سیستم های تشخیص هویت یا راننده های خودران، تمرکز صرفا روی computer vision یا NLP نیست و نیاز است که سیستم به صورت کلی بتواند چند وجهی باشد و بتواند داده های مختلف را پردازش کند. به عنوان مثالی دیگر، در image captioning به این صورت است که ورودی سیستم تصویر است ولی خروجی text است. به عبارتی تسک های زیادی وجود دارند که همزمان چند زمینه را درگیر می کنند. در ادامه مقاله ای را قرار می دهیم که در سال 2021 ارایه شد. نام مقاله به تنهایی بیانگر کار صورت گرفته است. در این مقاله روشها و دیتاست ها معرفی شده اند.

Trends in Integration of Vision and Language Research: A Survey of Tasks, Datasets, and Methods

Interest in Artificial Intelligence (AI) and its applications has seen unprecedented growth in the last few years. This success can be partly attributed to the advancements made in the sub-fields of AI such as machine learning, computer vision, and natural language processing. Much of the growth in these fields has been made possible with deep learning, a sub-area of machine learning that uses artificial neural networks. This has created significant interest in the integration of vision and language. In this survey, we focus on ten prominent tasks that integrate language and vision by discussing their problem formulation, methods, existing datasets, evaluation measures, and compare the results obtained with corresponding state-of-the-art methods. Our efforts go beyond earlier surveys which are either task-specific or concentrate only on one type of visual content, i.e., image or video. Furthermore, we also provide some potential future directions in this field of research with an anticipation that this survey stimulates innovative thoughts and ideas to address the existing challenges and build new applications.

#یادگیری_عمیق #معرفی_مقاله #image_captioning

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت
کنترل زیر شاخه ای از رشته برق است که در آن می توان تصمیم گیری داشت. برای مثال یک ربات چگونه فوتبال بازی کند یا چگونه راه برود. با پیشرفت یادگیری عمیق و یادگیری تقویتی و ادغام این دو، شاهد این هستیم که کارهایی که تا قبل از این دانش پژوهان برق رویشان کار می کردند، به سمت کامیونیتی هوش مصنوعی آماده است. یکی از این زمینه ها رباتیک است. در ادامه مقاله ای مروری از یادگیری عمیق و تقویتی در رباتیک را ارجاع می دهیم که اخیرا چاپ شده است.

A survey on deep learning and deep reinforcement learning in robotics with a tutorial on deep reinforcement learning

This article is about deep learning (DL) and deep reinforcement learning (DRL) works applied to robotics. Both tools have been shown to be successful in delivering data-driven solutions for robotics tasks, as well as providing a natural way to develop an end-to-end pipeline from the robot’s sensing to its actuation, passing through the generation of a policy to perform the given task. These frameworks have been proven to be able to deal with real-world complications such as noise in sensing, imprecise actuation, variability in the scenarios where the robot is being deployed, among others. Following that vein, and given the growing interest in DL and DRL, the present work starts by providing a brief tutorial on deep reinforcement learning, where the goal is to understand the main concepts and approaches followed in the field. Later, the article describes the main, recent, and most promising approaches of DL and DRL in robotics, with sufficient technical detail to understand the core of the works and to motivate interested readers to initiate their own research in the area. Then, to provide a comparative analysis, we present several taxonomies in which the references can be classified, according to high-level features, the task that the work addresses, the type of system, and the learning techniques used in the work. We conclude by presenting promising research directions in both DL and DRL.

#یادگیری_عمیق_تقویتی #یادگیری_عمیق #رباتیک #معرفی_مقاله #کنترل

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت
قبلا اشاره کرده بودیم که در خودروهای خودران از فناوری های متفاوتی استفاده می شود که یکی از قسمت های مهم، روشهای موجود در computer vision است. در سال 2021 مقاله ای مروری ارایه شد که خود مساله، دادگان موجود و روشهای نوین را بررسی کرده است. همچنین، در این مقاله تسکهای متفاوت به خوبی شرح داده شده اند. به صورت کلی مطالعه این مقاله به دوستداران computer vision و کسانی که تمایل دارند در زمینه vision ادامه تحصیل دهند پیشنهاد می شود.

Computer Vision for Autonomous Vehicles: Problems, Datasets and State of the Art

Recent years have witnessed enormous progress in AI-related fields such as computer vision, machine learning, and autonomous vehicles. As with any rapidly growing field, it becomes increasingly difficult to stay up-to-date or enter the field as a beginner. While several survey papers on particular sub-problems have appeared, no comprehensive survey on problems, datasets, and methods in computer vision for autonomous vehicles has been published. This book attempts to narrow this gap by providing a survey on the state-of-the-art datasets and techniques. Our survey includes both the historically most relevant literature as well as the current state of the art on several specific topics, including recognition, reconstruction, motion estimation, tracking, scene understanding, and end-to-end learning for autonomous driving. Towards this goal, we analyze the performance of the state of the art on several challenging benchmarking datasets, including KITTI, MOT, and Cityscapes. Besides, we discuss open problems and current research challenges. To ease accessibility and accommodate missing references, we also provide a website that allows navigating topics as well as methods and provides additional information.


#یادگیری_عمیق #بینایی_ماشین #معرفی_مقاله #self_driving_car #مقاله_مروری

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت
تا امروز از کاربردهای متفاوت یادگیری عمیق در زمینه های گوناگون صحبت کرده ایم. به تازگی مقاله ای از دانشگاه British Columbia ارایه شده که استفاده یادگیری عمیق در علوم انسانی را به چالش کشیده است. در ادامه می خوانیم:

Deep Learning for Predicting Human Strategic Behavior

Predicting the behavior of human participants in strategic settings is an important problem in many domains. Most existing work either assumes that participants are perfectly rational, or attempts to directly model each participant’s cognitive processes based on insights from cognitive psychology and experimental economics. In this work, we present an alternative, a deep learning approach that automatically performs cognitive modeling without relying on such expert knowledge. We introduce a novel architecture that allows a single network to generalize across different input and output dimensions by using matrix units rather than scalar units, and show that its performance significantly outperforms that of the previous state of the art, which relies on expert-constructed features.


#یادگیری_عمیق #علوم_انسانی #معرفی_مقاله

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت
2025/07/04 10:54:46
Back to Top
HTML Embed Code: