Bias Variance

حتما می دانید که شافل کردن داده امری ضروری در یادگیری است. علت اصلی این کار این است که لازم است داده ها مستقل از یکدیگر شوند تا در تابع هزینه بتوان توزیع داده ها را مارجینال کرد. به عبارتی دیگر توزیع joint داده ها به ضرب توزیعهای مارجینال تغییر پیدا می کند تا بتوان برای شبکه، تابع هزینه مناسبی داشت. گونه دیگری از یادگیری وجود دارد که می توان در آن داده ها را شافل نکرد و از ترتیب داده ها می توان دانش کسب کرد. ایده این نوع یادگیری با شبکه های عصبی و ادغامشان می تواند ایده مناسبی برای روشهای نوین باشد.

مقاله: https://ronan.collobert.com/pub/matos/2009_curriculum_icml.pdf

Humans and animals learn much better when the examples are not randomly presented but organized in a meaningful order which illustrates gradually more concepts, and gradually more complex ones. Here, we formalize such training strategies in the context of machine learning, and call them “curriculum learning”. In the context of recent research studying the difficulty of training in the presence of non-convex training criteria (for deep deterministic and stochastic neural networks), we explore curriculum learning in various set-ups. The experiments show that significant improvements in generalization can be achieved. We hypothesize that curriculum learning has both an effect on the speed of convergence of the training process to a minimum and, in the case of non convex criteria, on the quality of the local minima obtained: curriculum learning can be seen as a particular form of continuation method (a general strategy for global optimization of non-convex functions).

لینک مقاله مروری: https://arxiv.org/abs/2101.10382



#معرفی_مقاله #یادگیری_عمیق #یادگیری_ماشین

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

www.tgoop.com/biasvariance_ir/21

128 viewsBias Variance, edited  Sep 5, 2021 at 08:11

حتما می دانید که شافل کردن داده امری ضروری در یادگیری است. علت اصلی این کار این است که لازم است داده ها مستقل از یکدیگر شوند تا در تابع هزینه بتوان توزیع داده ها را مارجینال کرد. به عبارتی دیگر توزیع joint داده ها به ضرب توزیعهای مارجینال تغییر پیدا می کند تا بتوان برای شبکه، تابع هزینه مناسبی داشت. گونه دیگری از یادگیری وجود دارد که می توان در آن داده ها را شافل نکرد و از ترتیب داده ها می توان دانش کسب کرد. ایده این نوع یادگیری با شبکه های عصبی و ادغامشان می تواند ایده مناسبی برای روشهای نوین باشد.

مقاله: https://ronan.collobert.com/pub/matos/2009_curriculum_icml.pdf

Humans and animals learn much better when the examples are not randomly presented but organized in a meaningful order which illustrates gradually more concepts, and gradually more complex ones. Here, we formalize such training strategies in the context of machine learning, and call them “curriculum learning”. In the context of recent research studying the difficulty of training in the presence of non-convex training criteria (for deep deterministic and stochastic neural networks), we explore curriculum learning in various set-ups. The experiments show that significant improvements in generalization can be achieved. We hypothesize that curriculum learning has both an effect on the speed of convergence of the training process to a minimum and, in the case of non convex criteria, on the quality of the local minima obtained: curriculum learning can be seen as a particular form of continuation method (a general strategy for global optimization of non-convex functions).

لینک مقاله مروری: https://arxiv.org/abs/2101.10382



#معرفی_مقاله #یادگیری_عمیق #یادگیری_ماشین

🌴 سایت | 🌺 کانال | 🌳 پشتیبانی

BY Bias Variance