tgoop.com/biasvariance_ir/271
Last Update:
استفاده از یادگیری عمیق در پروژه های تجاری - بخش یازدهم
ست کردن بچ سایز
در زمان آموزش شبکه یکی از موارد مهمی که لازم است به آن توجه کرد، سایز minibatch است. وقتی که این سایز را افزایش می دهیم، تخمین تابع هزینه و جهت کاهشی به واقعیت نزدیکتر خواهد بود؛ با این حال، مشکلی که وجود دارد همین تخمین مناسب است که باعث می شود خطر گیر کردن در نقاط اکسترمم افزایش یابد. به عبارتی با تخمین مناسب ما در جهت کاهشی حرکت می کنیم ولی در نهایت چون هر بار تخمین تقریبا یکسان است، ما به یک نقطه احتمالا همگرا می شویم. توصیه می شود سایز minibatch را 32 یا 64 در نظر بگیرید تا در هر بار فرآیند کاهش تابع هزینه، تخمین تابع هزینه چیز جدیدی شود. اینکار شاید در ظاهر خوب نباشد ولی سبب می شود به صورت کلی در جهت کاهشی حرکت کنیم و به یک نقطه خاص همگرا نشویم زیرا تخمین خیلی دقیق نیست. با این ترفند می توان از اکسترمم های محلی گریخت.
(ادامه دارد)
ــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#نکته_آموزشی #یادگیری_عمیق #آموزش_شبکه_عصبی #مثالهای_کاربردی #پروژه_تجاری #minibatch_size
ــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
🌳 پشتیبانی | 🌺 کانال | 🌴 سایت
BY Bias Variance
Share with your friend now:
tgoop.com/biasvariance_ir/271