چرا در شبکه عصبی تابع relu کار می کند؟ این تابع که در تمامی نقاط مشتق پذیر نیست!

یکی از مواردی که معمولا برای همه سوال به وجود می آورد این است که چرا تابع ReLU در شبکه ها استفاده می شود با وجود اینکه مشتق پذیر نیست. به صورت کلی و ساده اگر توضیح دهیم، به این شکل است که این تابع مشتق پذیر نیست در نقطه صفر و به همین دلیل از روش subderivative استفاده می کنیم. ویژگی این تابع محدب بودن است. ایده این است که اینجا مشتق نداریم و مشتق چپ و راست برابر نیستند اما اگر تابع محدب باشد می توان در نقطه مشتق ناپذیر مشخص کرد که شیب های خطوط مماس در چه بازه ای قرار می گیرند. حال می توان از آن بازه یک عدد را به عنوان مشتق استفاده کرد تا back propagation داشته باشیم.


#نکته_آموزشی #یادگیری_عمیق #activation_function

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

تابع Softmax و ویژگی منحصر به فرد این تابع

یکی از توابع فعالیت بسیار پر کاربرد در تسکهای دسته بندی، تابع softmax است. این تابع یک رفتار بسیار جالب دارد و آن تشدید کلاس برنده است. این موضوع را با مثال توضیح می دهیم. فرض کنیم که دسته بندی سه کلاسه داریم و امتیاز هر کلاس به صورت زیر است:

[10, 10, 10.5]

اگر دقت کنید دو کلاس امتیاز برابر ده و یکی ده و نیم است که یعنی کمی با دو کلاس دیگر فرق دارد. وقتی این اعداد را به تابع softmax می دهیم خروجی به صورت زیر می شود:

[0.2741, 0.2741, 0.4519]

همانطور که می بینید با اینکه 10.5 به 10 خیلی نزدیک است ولی در نهایت اختلاف احتمال 10.5 خیلی با دو 10 دیگر بیشتر است. کلاس برنده تشدید شد.


#نکته_آموزشی #یادگیری_عمیق #activation_function

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

مقالات مروری

یکی از مواردی که معمولا دانشجویان سال اولی ارشد و دکتری به درستی رعایت نمی کنند، انتخاب درست زمینه فعالیت است. معمولا به این صورت است که دانشجو براساس درسهایی که ترم یک برداشته، با توجه به اساتید مربوطه و کمی هم دانش حاصل از کارشناسی مسیرش را انتخاب می کند. لازم است دقت کرد که انتخاب زمینه در ارشد و دکتری بسیار حساس است و عملا مسیر آینده علمی و شغلی شما را تعیین می کند. در اینجا ما به موردی ذکر می کنیم که می تواند کمک کننده باشد.
برای انتخاب زمینه فعالیت شما لازم نیست که کتاب بررسی کنید. اصولا تعداد صفحات کتابها و این موضوع که به سرعت وارد جزییات می شوند، سبب می شوند که کتابهای آموزشی برای تعیین زمینه اصلا مناسب نباشند. راهکار پیشنهادی به این شکل است که شما ابتدا زمینه هایی که به آنها علاقه مند هستید و نیستید را لیست کنید، برای مثال ویژن و پردازش زبان طبیعی، در ادامه بروید و تسک های متفاوت را پیدا کنید. در نهایت برای هر تسک یک مقاله مروری که اخیرا چاپ شده را پیدا کرده و مطالعه کنید. در این صورت در کمترین زمان ممکن می توانید مسیر مناسب خودتان را انتخاب کنید.


#نکته_آموزشی #ارشد_دکتری

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

Rich Sutton talks about the field!

#ساتون #بزرگان #ویدیو #یادگیری_تقویتی #یادگیری_تقویتی_عمیق

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

معرفی کتاب Artificial Intelligence 4th edition

یکی از کتابهایی که معمولا هر دانشجوی کامپیوتری حداقل اسمش را شنیده کتاب AI نوشته راسل و نورویگ است. مدتی از ارایه چاپ چهارم کتاب گذشته و تصمیم گرفتیم که در مورد این کتاب بنویسیم. اگر از قیمت تقریبا 200 دلاری کتاب عبور کنیم به متن کتاب می توان اشاره کرد. در مقایسه با ویرایش قبل، کتاب تغییرات بسیاری داشته است و این موضوع را در نیمه دوم کتاب می توانید به وضوح مشاهده کنید. می توانید توقع داشته باشید که از روشهای مبتنی بر ترنزفرمرها تا روشهای مبتنی بر transfer learning، که مباحثی هستند که در یادگیری عمیق اخیرا بسیار گرفته اند، را در کتاب ببینید. از سویی اگر ویرایش قبلی کتاب را دیده باشید، در آن کتاب نویسندگان اشاره کرده بودند که این حوزه بسیار بزرگ است و کتابشان هم این ویژگی را دارد. در این ویرایش هم سعی بر این بوده که از ویژن و مدل های آماری تا رباتیک پوشش داده شوند. اضافه شدن فصل deep learning در کتاب هم نکته جالب توجه ای است. یکی از مواردی که هنوز جلب توجه می کند این است که نویسندگان همچنان در کتابشان به روشهای فازی نپرداخته اند و صرفا اشاراتی داشته اند. از سویی، می توان این گونه تفسیر کرد که سونامی یادگیری عمیق این کتاب را هم تحت تاثیر قرار داده است؛ برای مثال، جدا از فصل یادگیری عمیق، در فصل پردازش زبان، به GPT-2 اشاره شده، در تقویتی به DQN و مدل های عمیق ارجاع داده شده و ... . بنابراین می توانید مطمئن باشید که کتاب همچنان تحولات اخیر حوزه را سعی کرده به صورت کلی پوشش دهد. از نکات جالب توجه می توان به حضور Ian Goodflow در نگاشتن کتاب اشاره کرد.



#معرفی_کتاب #نکته_آموزشی #AI

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

دلیلی دیگر برای درهم ریختن داده ها

یکی از مسایلی که لازم است حتما در یادگیری عمیق لحاظ شود این است که در حین آموزش لازم است داده ها را shuffle کرد. علت این موضوع این است که داده ها وابستگی نداشته باشند و به اصطلاح i.i.d باشند. خوبی این موضوع این است که تابع هزینه ای که در هر iteration با minibatch کنونی تقریب می زنیم به خاطر داده های تصادفی، به شکل های اشتباه در نمی آید و جهت گیری هایی که سبب وابستگی داده ها است را پیدا نمی کند. اما یک دلیل دیگر نیز وجود دارد که با توجه به این دلیل، shuffle کردن داده ها حتما لازم است صورت گیرد. حتما شکل تابع هزینه را دیده اید که حاصل جمع خطا ها روی تک تک داده ها است؛ برای مثال log loss به این شکل است که شما جمع یکسری ترمِ لگاریتمی را دارید. خود این تابع هزینه با فرض i.i.d بودن داده ها بدست می آید. برای توضیح دادن ساده این موضوع به این شکل کار می کنیم که اگر بخواهیم احتمال رخ داد یک مجموعه دادگان را بررسی کنیم باید احتمال (P(x1, x2, ..., xn را پیدا کنیم ولی چون فرض می کنیم داده ها مستقل هستند با i.i.d پس حاصل احتمال ذکر شده به صورت ضرب تک تک احتمال داده ها قابل پیدا کردن است. اصطلاحا توزیع joint را به marginalها تبدیل کردیم. با یک لگاریتم گیری هم ضرب ها به جمع تبدیل می شوند.


#نکته_آموزشی #یادگیری_عمیق #shuffle

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

ضعف شبکه های کانولوشنی - قسمت اول

یکی از نقاط ضعف شبکه های کانولوشنی، قدرت تعمیم یا قدرت generalization آنهاست. به این شکل که اگر اعضای یک کلاس را در زمان آموزش فقط به یک حالت دیده باشند، در زمان تست هم فقط می توانند به همان شکل واکنش دهند؛ به عنوان مثالی ساده، اگر شبکه ای کانولوشنی صورت انسان را فقط به صورت نیم رخ و تمام رخ دیده باشد در زمان آموزش، نمی تواند عملکرد مناسبی داشته باشد اگر در زمان تست تصویر سه رخ را بگیرید. یکی از مواردی که مرسوم است در فرآیند آموزش شبکه های کانولوشنی، استفاده از data augmentation است. به این صورت که سعی می شود روی دادگان آموزش transfrom های متفاوت زده شود تا شبکه، دادگان آموزش را در حالات مختلف ببیند. در این حالت، اگر به فرض در دادگان فقط کشتی هایی دیده می شود که از چپ به راست حرکت می کنند، می توان با افزایش داده زاویه کشتی، جهت حرکت و ... را تغییر داد تا در نهایت قدرت تعمیم مدل افزایش پیدا کند. با این وجود، تبدیلاتی که اعمال می کنیم خیلی محدود است. تبدیلاتی مانند rotation، translation و scale تبدیلات مناسبی هستند ولی با این وجود محدودیت بزرگی دارند. اگر ما روی تصاویر نیم رخ، و تمام رخ تبدیلات خطی مانند آنهایی که ذکر کردیم را بزنیم، همچنان تصویر سه رخ نخواهیم داشت. پس حتی data augmentation هم نمی تواند خیلی از ضعف ها رو پوشش دهد. نکته کلیدی که وجود دارد این است که این موضوع ضعف ذاتی شبکه های کانولوشنی است. شما ممکن است از LeNet5 که شبکه ای بسیار بدوی است به سمت استفاده از ورژن های بالای ResNet بروید که قدرت یادگیری خیلی بالا و محاسبات متعادلی دارند ولی همچنان ضعف ذکر شده وجود دارد. می توان به این شکل گفت که شبکه های کانولوشنی عملکرد مناسبی برای قدرت تعمیم روی viewpoint های متفاوت ندارند. در پست های بعدی در مورد راهکارها صحبت خواهیم کرد.


#نکته_آموزشی #ضعف_شبکه_کانولوشنی #یادگیری_عمیق #شبکه_کانولوشنی #capsule_network

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

ضعف شبکه های کانولوشنی - قسمت دوم

پیش از این ذکر کرده بودیم که شبکه های کانولوشنی قدرت تعمیم مناسبی برای viewpoint های متفاوت ندارند. فرض کنید که تصویری از یک ماشین دارید و روی آن data_augmentation می زنید. با این حال شما از viewpoint های متفاوت تصویر نخواهید داشت؛ یعنی اینکه اگر دوربین ثابت باشد و خود ماشین بچرخد، در این صورت دیتایی به این شکل ندارید. این موضوعی بود که سالها ذهن افراد زیادی را درگیر کرده بود. راه حلی که در literature وجود دارد شبکه های کپسولی است؛ برای شرح ساده این نوع شبکه ها، تصور کنید که شما در حال کار با نرم افزاری مثل 3d max هستید. در این حالت، شما اگر بخواهید یک جسمی را بزرگ یا کوچک کنید، لازم است برداری که نماینده آن جسم است را تغییر دهید. برای مثال فرض کنید، یک ورودی بیانگر طول، یکی بیانگر عرض و ... باشند. در این حالت، شما با تغییر المانهای این بردار مقداردهی، جزییات جسم را تغییر می دهید و قسمت های مختلف آن را کوچک و بزرگ می کنید. حال به صورت خیلی ساده انگارانه، فرض کنید که یکی از این المانها مربوط به چرخش باشد. در این صورت شما با تغییر عدد یکی از بعدهای بردار، میزان چرخش را تعیین می کنید. وقتی با شبکه های کپسولی کار می کنیم، سعی می کنیم با کپسولها به عنوان building block های شبکه عصبی کار کنیم و دیگر به صورت نورن به نورن شبکه را فرض نمی کنیم. در این حالت، قسمتهای مختلف و اجزای مختلف، کپسول خاص خودشان را خواهند داشت و هر کپسول بیانگر بردار مقداردهی است که تشبیهش را ذکر کردیم. در این صورت شبکه خیلی ساده تر از شبکه های کانولوشنی می تواند روی viewpoint های متفاوت خوب کار کند.

#نکته_آموزشی #capsule_network #یادگیری_عمیق #شبکه_کانولوشنی #ضعف_شبکه_کانولوشنی

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

Dr. White

#یادگیری_عمیق_تقویتی #یادگیری_تقویتی #بزرگان #مارثا_وایت #ویدیو

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

با سلام و احترام،
دوستان گرامی، امروز، 22 دی ماه، از ساعت 2 بامداد تا ساعت 10:30 امشب بدلیل بروزرسانیِ سرور، سایت با اختلال روبه رو خواهد بود؛ بنابراین دوستانی که آموزشهایشان را می خواهند دانلود کنند یا فعالسازی کنند، در این ساعات نمی توانند. بعد از بروز رسانی، سایت به حالت عادی خودش باز خواهد گشت.


#اطلاع_رسانی #بروزرسانی_سایت

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

دوستان عزیز، سایت در حال حاضر تقریبا به روال عادی خود بازگشته و تقریبا تمامی موارد قابل استفاده هستند. در روزهای آینده قابلیتهای جدید را شرح خواهیم داد ولی در حال حاضر برای اینکه سایت درست کار کند لازم است که پس از وارد شدن در سایت Ctrl+F5 را برای refresh کردن، وارد کنید.

موفق باشید.


#اطلاع_رسانی #بروزرسانی_سایت

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

ضعف شبکه های کانولوشنی - قسمت سوم

در سلسله نوشتار قبلی به ضعف اصلی شبکه کانولوشنی اشاره کرده بودیم. در این پست می خواهیم به یکی دیگر از این نقاط ضعف اشاره کنیم. حتما شنیده اید که شبکه های کانولوشنی نسبت به translation یا جابه جایی قابلیت تعمیم دارند. این یک حرف غیر دقیق است و باوری است نه چندان درست اگر فرضیات را لحاظ نکنیم. منشا این نگاه در این است که با استفاده از لایه پولینگ، محل دقیق وجود یا عدم وجود را از بین می بریم و در طول شبکه که چندین بار لایه پولینگ را اعمال می کنیم، اطلاعاتِ محل دقیق اشیا از ببین می رود. تا اینجا درست است و به همین سبب اگر اشیا در زمان تست کمی جابه جا شوند نسبت به آن چیزی که در زمان آموزش بوده اند مشکلی پیش نمی آید. ولی مشکل زمانی پیش می آید که شما فرض کنید این خاصیت جابه جایی را همیشه دارید. خیلی ساده اگر در زمان آموزش تمامی پرندگان در قسمت بالای تصویر باشند، در زمان تست اگر پرنده ای در پایین تصویر باشد و خیلی با بالا فاصله داشته باشد، شبکه خوب کار نمی کند. در هر حال ویژگی های استخراج شده در نهایت به لایه های تمام اتصال داده می شوند. اگر در قسمتی که مربوط به پایین تصویر است، هیچ وقت داده مناسب وجود نداشته، پس نمی توان توقع چندانی داشت. حال اینکه گفته می شود شبکه های کانولوشنی قدرت تعمیم خوب برای translation دارند، این حرف تا حدودی می تواند درست باشد، به شرطی که data augmentation داشته باشیم. لایه های پولینگ برای دستیابی به قدرت تعمیم برای جابه جایی به هیچ وجه کافی نیستند. توجه کنید که لایه های پولینگ اصلا مناسب نیستند و اینکه تا حدودی کار می کنند، یک فاجعه است. زیرا هر بار حداقل 75% اطلاعات را دور می ریزند. در پست های بعدی سعی می کنیم به صورت تصویری حرفی را که در اینجا زدیم را نمایش دهیم.
---
پی نوشت:
لازم به ذکر است که جابه جایی یا translation به خودیِ خود، یک تبدیل خطی نیست ولی می توان نقاط را به یک فضای بالاتر برد و در آن فضا تبدیل را به صورت خطی انجام داد تا در فضای ابتدایی translation داشته باشیم. بنابراین می توان translation را هم در کنار سایر تبدیلات خطی مثل rotation یا scale به راحتی با یک ماتریس بیان کرد و به سادگی قابلیت اعمال روی دیتاست را دارد.


#نکته_آموزشی #ضعف_شبکه_کانولوشنی #capsule_network #یادگیری_عمیق #شبکه_کانولوشنی #CNN

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

افزایش دیتا یا data augmentation

بدلیل کمبود دیتا و هزینه بر بودن برچسب زدن برای دادگان در تسکهای supervised یکی از عملیات بسیار پرکاربرد افزایش دیتاست. بسته به دادگان آموزش می توانیم این عملیات را انجام دهیم؛ برای مثال، اگر تسک object recognition بود، می توان تصاویر را shift داد یا کمی درجه چرخش را تغییر داد. به عنوان مثالی دیگر، برای تسکهای مربوط به صوت، می توان به دیتا، نویزهای متفاوت اعمال کرد. خوبی افزایش دیتا این است که دیتای آموزش را زیاد می کند و خطر بیش برازش کم می شود اما با این حال یکسری اشتباهات غلط وجود دارد که سعی می کنیم بررسی کنیم.


1. افزایش دیتا باید منطقی باشد؛ یعنی اینکه به این شکل کار نکنید که دادگان هر کلاس را به یک باره ده برابر کنید. این کار ممکن است چندان مفید نباشد. علت اصلی این است که شما وقتی با روشهای مرسوم، مثلا translation، دادگانتان را افزایش می دهید، information چندانی به مجموعه دادگان اضافه نمی کنید. درست است که داده اضافه می شود ولی اطلاعات جدید خیلی کمی اضافه می شود. وقتی خیلی داده زیاد می کنید، فرآیند آموزش بسیار هزینه بر می شود.

2. با افزایش دیتا، مشکلاتی مثل عدم وجود داده برای view point های متفاوت حل نمی شود. با یک مثال توضیح می دهیم. شما اگر تصویر تمام رخ و نیم رخ داشته باشید، با میانگین گیری نمی توانید تصویر سه رخ داشته باشید. به عبارتی دیگر، بدست آوردن تصویر سه رخ به صورت خطی انجام پذیر نیست.

3. هر روشی برای افزایش داده مناسب نیست. بسته به label لازم است تصمیم گیری شود. شما می توانید تصویر یک خودکار را بچرخانید ولی چرخشی که باعث می شود خطای بیز زیاد شود و خود انسان دچار اشکال شود، مناسب نیست؛ بنابراین، وقتی تعداد برچسبهای تسکتان زیاد است، به دقت کلاسها را بررسی کنید.

4. توزیع دادگان را تغییر ندهید. اشتباه رایجی که وجود دارد این است که خیلی ها فکر می کنند اگر دو کلاس بالانس نیستند لازم است که با افزیش دیتا، بالانس شوند. این کار بسیار خطرناک است. با این کار prior ها را به هم می ریزیم. فرض کنید می خواهیم در تصویر ورودی به دنبال ماشین باشیم. در تصاویر جاده که برای 20 سال قبل بوده اند، خودروها توزیعشان با الان متفاوت بوده اند. اگر با افزایش دیتا این توزیع ها را به هم بریزیم، نباید توقع داشته باشیم نتیجه خوبی بگیریم. توزیع داده باید واقعی باشد.

#نکته_آموزشی #data_augmentation #یادگیری_عمیق #افزایش_دادگان

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

مشکل stable نبودن و روشهای یادگیری عمیق تقویتی - بخش اول

یکی از مواردی که باعث شد یادگیری تقویتی تا همین اواخر رشد چندانی نداشته باشد، این موضوع بود که روشهای تقویتی با مدلهای غیر خطی خوب کار نمی کنند. به همین علت است که تا قبل از سال 2013 اکثر مقالات به دنبال استفاده از مدلهای بسیار ساده برای یادگیری بودند. سالها پیش اگر به یک متخصص بینایی ماشین می گفتید که تصویر را به صورت مستقیم و بدون هیچ feature extraction ای به شبکه عصبی می دهیم تا خودش یاد بگیرد، قطعا نظرتان طرد می شد، ولی امروزه شاهد این موضوع هستیم که شبکه ها به صورت مستقیم و بدون هیچ استخراج ویژگی از قبل تعیین شده ای کار می کنند. این پدیده در شبکه هایی که برای deep reinforcement هم استفاده می شوند، به نحوی وجود دارد. در ادامه سعی می کنیم نیازها را ذکر کنیم که چرا به شبکه عصبی در یادگیری تقویتی نیاز داریم.

مفهوم ناپایداری در تقویتی عمیق به این معنی است که شما تعداد لایه ها، مدل، نرخ یادگیری و ... را خوب تعیین کرده اید و آموزش به نحو مناسبی پیش می رود ولی به یک باره خطا زیاد می شود و این بد شدن ادامه پیدا می کند بدون اینکه شما چیزی را تغییر داده باشید. دقت کنید که ما بدلیل پیچیدگی تابع هزینه، همچنان به اکسترمم سراسری نمی رسیم. بحثی که وجود دارد این است که در طول فرآیند یادگیری، برای رسیدن به یک اکسترممی در حال حرکت با طول گام یکسان هستیم، ولی به یک باره نتیجه بد می شود و به جاهایی می رویم که هزینه بالایی دارند.

(ادامه دارد)
ــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#نکته_آموزشی #یادگیری_عمیق #یادگیری_عمیق_تقویتی #یادگیری_تقویتی
ــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

با سلام و احترام

همانطور که قول داده بودیم، بالاخره امروز از ورژن جدید سایت رونمایی می کنیم. می توانید قابلیتهای جدید سایت را بررسی کنید. به تدریج سایر قابلیت ها را نیز رونمایی می کنیم.

🌺 اما موردی که شاید منتظرش بودید، یکی از قابلیتهای مجموعه ما است که تعدادی از اعضا با آن آشنا هستند. افرادی که در سایت ثبت نام می کردند، سابقا بینشان در هر ماه قرعه کشی انجام می شد و کد تخفیف ارسال می شد. برای اعضای سایت، این قابلیت از این پس به صورت هفتگی خواهد بود. فقط حتما پوشه spam میلتان را چک کنید.

ــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#اطلاع_رسانی #بروزرسانی_سایت
ــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
🌳 پشتیبانی | 🌺 کانال | 🌴 سایت