tgoop.com/matlabtips/1615
Last Update:
برای اندازه گیری رزولوشن در تصویر تعاریف درستی داریم اما در زبان چه؟ اصلا رزولوشن در زبان را میتوان تعریف کرد؟ به نظر من بهترین تعریف برای رزولوشن با مفهوم perplexity گره خورده است که در عمل cross entropy بین توزیع احتمال تولید شده توسط شبکه و توزیع احتمال واقعی (که با داده ها تخمین زده می شود empirical distribution) است. زمانی که این فاصله (که از نوع اطلاعات است) به صفر برسد تفاوتی بین واقعیت و توزیع مدل زبانی نیست و رزولوشن بی نهایت است. بنابراین می توان رزولوشن مدل را به صورت معکوس perplexity تعریف کرد
LM_resolution = 1/perplexity
Perplexity = 2^ H(p, q)
که در آن H(p,q) کراس آنتروپی بین توزیع احتمال مدل زبانی p و توزیع احتمال واقعی q است. حالتی که رزولوشن بی نهایت است یک حد است که هیچ گاه نمی توان به آن رسید چون توزیع احتمال مقصد علاوه به ظرافت بی نهایت (؟) همواره در حال تغییر است. چون زبان یک پدیده ی دینامیک است.
BY MatlabTips
Share with your friend now:
tgoop.com/matlabtips/1615
