tgoop.com/pytorch_howsam/432
Last Update:
یک مقاله جالب
اگه کمی با ساختار مغز آشنا باشید، میدونید که در مغز انسان نورونهای مختلفی وجود داره.
اما اکثر شبکه های عصبی ما ساختار یکسانی برای نورون درنظر میگیرن که یک تابع فعالساز مثل سیگموید، رلو یا موارد دیگه داره. حالا در مقاله ای اومدن شبکه Neural Diversity رو معرفی کردن که میتونه با وزنهای رندوم مسائل RL رو حل کنه.
به ویدئوی بالا نگاه کنید؛ سمت چپی، یک شبکه عصبی استاندارد و سمت راستی شبکه پیشنهاد شده در این مقاله هست. به توابع فعالساز دو شبکه نگاه کنید؛ ببینید تفاوت قالب توجهی باهم دارند. درعین حال، به نقطه چینهای قرمز و سبز هم دقت کنید. قرمزها قابل آموزش و سبزها ثابت هستن. میبنید که دو شبکه برعکس همدیگه هستن.
در شبکه استاندارد، نورونها ثابت و اتصالات بین نورونها قابل یادگیری هست. اما در شبکه پیشنهادی، نورونها قابلیت یادگیری دارن و اتصالات ثابت و صرفا اعدادی رندوم هستن. هر نورون در این شبکه ساختاری مشابه با RNN داره و به قول مولفهای مقاله، یک TinyRNN هست. این نورونها یکسری وزن دارن که قابلیت یادگیری دارن. به اکتیویشنها در ویدئو دقت کنید. اکتیویشنهای متنوعی میبینید.
مقاله | رفرنس
@pytorch_howsam
BY PyTorch Howsam
Share with your friend now:
tgoop.com/pytorch_howsam/432