Bias Variance

ضعف شبکه های کانولوشنی - قسمت اول

یکی از نقاط ضعف شبکه های کانولوشنی، قدرت تعمیم یا قدرت generalization آنهاست. به این شکل که اگر اعضای یک کلاس را در زمان آموزش فقط به یک حالت دیده باشند، در زمان تست هم فقط می توانند به همان شکل واکنش دهند؛ به عنوان مثالی ساده، اگر شبکه ای کانولوشنی صورت انسان را فقط به صورت نیم رخ و تمام رخ دیده باشد در زمان آموزش، نمی تواند عملکرد مناسبی داشته باشد اگر در زمان تست تصویر سه رخ را بگیرید. یکی از مواردی که مرسوم است در فرآیند آموزش شبکه های کانولوشنی، استفاده از data augmentation است. به این صورت که سعی می شود روی دادگان آموزش transfrom های متفاوت زده شود تا شبکه، دادگان آموزش را در حالات مختلف ببیند. در این حالت، اگر به فرض در دادگان فقط کشتی هایی دیده می شود که از چپ به راست حرکت می کنند، می توان با افزایش داده زاویه کشتی، جهت حرکت و ... را تغییر داد تا در نهایت قدرت تعمیم مدل افزایش پیدا کند. با این وجود، تبدیلاتی که اعمال می کنیم خیلی محدود است. تبدیلاتی مانند rotation، translation و scale تبدیلات مناسبی هستند ولی با این وجود محدودیت بزرگی دارند. اگر ما روی تصاویر نیم رخ، و تمام رخ تبدیلات خطی مانند آنهایی که ذکر کردیم را بزنیم، همچنان تصویر سه رخ نخواهیم داشت. پس حتی data augmentation هم نمی تواند خیلی از ضعف ها رو پوشش دهد. نکته کلیدی که وجود دارد این است که این موضوع ضعف ذاتی شبکه های کانولوشنی است. شما ممکن است از LeNet5 که شبکه ای بسیار بدوی است به سمت استفاده از ورژن های بالای ResNet بروید که قدرت یادگیری خیلی بالا و محاسبات متعادلی دارند ولی همچنان ضعف ذکر شده وجود دارد. می توان به این شکل گفت که شبکه های کانولوشنی عملکرد مناسبی برای قدرت تعمیم روی viewpoint های متفاوت ندارند. در پست های بعدی در مورد راهکارها صحبت خواهیم کرد.


#نکته_آموزشی #ضعف_شبکه_کانولوشنی #یادگیری_عمیق #شبکه_کانولوشنی #capsule_network

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

www.tgoop.com/biasvariance_ir/198

265 viewsBias Variance, edited  Jan 7, 2022 at 13:53

ضعف شبکه های کانولوشنی - قسمت اول

یکی از نقاط ضعف شبکه های کانولوشنی، قدرت تعمیم یا قدرت generalization آنهاست. به این شکل که اگر اعضای یک کلاس را در زمان آموزش فقط به یک حالت دیده باشند، در زمان تست هم فقط می توانند به همان شکل واکنش دهند؛ به عنوان مثالی ساده، اگر شبکه ای کانولوشنی صورت انسان را فقط به صورت نیم رخ و تمام رخ دیده باشد در زمان آموزش، نمی تواند عملکرد مناسبی داشته باشد اگر در زمان تست تصویر سه رخ را بگیرید. یکی از مواردی که مرسوم است در فرآیند آموزش شبکه های کانولوشنی، استفاده از data augmentation است. به این صورت که سعی می شود روی دادگان آموزش transfrom های متفاوت زده شود تا شبکه، دادگان آموزش را در حالات مختلف ببیند. در این حالت، اگر به فرض در دادگان فقط کشتی هایی دیده می شود که از چپ به راست حرکت می کنند، می توان با افزایش داده زاویه کشتی، جهت حرکت و ... را تغییر داد تا در نهایت قدرت تعمیم مدل افزایش پیدا کند. با این وجود، تبدیلاتی که اعمال می کنیم خیلی محدود است. تبدیلاتی مانند rotation، translation و scale تبدیلات مناسبی هستند ولی با این وجود محدودیت بزرگی دارند. اگر ما روی تصاویر نیم رخ، و تمام رخ تبدیلات خطی مانند آنهایی که ذکر کردیم را بزنیم، همچنان تصویر سه رخ نخواهیم داشت. پس حتی data augmentation هم نمی تواند خیلی از ضعف ها رو پوشش دهد. نکته کلیدی که وجود دارد این است که این موضوع ضعف ذاتی شبکه های کانولوشنی است. شما ممکن است از LeNet5 که شبکه ای بسیار بدوی است به سمت استفاده از ورژن های بالای ResNet بروید که قدرت یادگیری خیلی بالا و محاسبات متعادلی دارند ولی همچنان ضعف ذکر شده وجود دارد. می توان به این شکل گفت که شبکه های کانولوشنی عملکرد مناسبی برای قدرت تعمیم روی viewpoint های متفاوت ندارند. در پست های بعدی در مورد راهکارها صحبت خواهیم کرد.


#نکته_آموزشی #ضعف_شبکه_کانولوشنی #یادگیری_عمیق #شبکه_کانولوشنی #capsule_network

🌳 پشتیبانی | 🌺 کانال | 🌴 سایت

BY Bias Variance