MatlabTips

امروزه، مدل‌هایی در دل سیلیکون به نام ترنسفورمر (Transformers) ساخته‌ایم که وقتی به آن‌ها کلمه‌ای داده می‌شود، می‌توانند توزیع احتمال کلمه‌ی بعدی را با دقتی شگرف پیش‌بینی کنند.در مدل های زبانی امروزی وقتی یک کلمه به عنوان ورودی داده می شود مدل با دقت بسیار بالایی توزیع احتمال کلمه ی بعدی را پیش بینی می کند. به این ترتیب می توانیم یک نمونه از توزیع کلمه ی بعدی برداریم و همینطور کلمات بعدی و بعدی را بسازیم تا جملات و پاراگراف های طولانی ایجاد کنیم.

اینجا هم یک فضا وجود دارد از کلماتی که پشت سر هم می آیند و برخی از دنباله ها قابل قبول هستند (مثلا «او به بازار رفت» ) و برخی غیر قابل قبول (مثلا «بازار او رفت» ) یا حتی بهتر: چه دنباله هایی با احتمال بیشتری یا کمتری می آیند (احتمال بیشتر مانند «در کتاب نوشتم» و احتمال کمتر «کتاب پرواز کرد»). آنتروپی یا «بعد» چنین ماشینی تمام آن چیزی است که شکل آن را تعیین می کند. شاید الان بهتر متوجه شده باشید که چرا در مدل های زبانی آنتروپی را مینیمم می کنیم. چیزی که یک شبکه ی عصبی مانند مدل های ترنسفورمر یاد میگیرند تابع آنتروپی هر کلمه به شرط کلمات قبلی است. این آنتروپی فضای بسیار پیچیده و تو در توی زبان را با دقتی بالا تخمین می زند. کاری که حتی تا چند سال پیش غیر ممکن بنظر می رسید.


اما آیا راهی وجود دارد که این را حتی شهودی تر درک کرد؟ برای این منظور فرض کنید شما در یک اتاق هستید که اجسامی در آن وجود دارند. در این حالت هر درجه ی آزادی محدودیت هایی برایش ایجاد می شود. مثلا ممکن است شما براحتی نتوانید به چپ حرکت کنید چون تخت در سمت چپ شماست. اما اگر روی تخت بروید (یعنی در جهت بالا-پایین کمی بالا رفتید اید) می توانید کمی به چپ تر بروید. در اینجا ما با ابعاد فراکتالی روبرو هستیم. اینجا دیگر «بعد» فضا ۳ نیست بلکه بستگی به جایی دارد که قرار گرفته اید، بعضی جاها سه و بعضی جاها کمتر! «بعد» به روشی برعکس مشخص می کند که چه اجسام و اشیایی در فضای اتاق وجود دارند! اگر شما چشم هایتان را ببندید و فقط به صورت تصادفی در اتاق حرکت کنید (فرض کنید حتی می توان بالا پایین هم رفت) در عمل می توانید تمام اتاق را «اسکن» کنید. حتی می توانید این را با دقت بیشتری هم انجام دهید. اگر یک پهپاد به اندازه ی یه زنبور را داخل بفرستید می توانید حتی لیوان توی اتاق رو هم تشخیص بدهید.

مدل های زبانی به همین شکل فضای حرکت بین کلمات را «می روبند»، در ابتدا برخی از ویژگی های کلی به راحتی قابل تشخیص می شوند: مثلا درفارسی فاعل و بعد مفعول و بعد فعل می آید. این دقیقا مانند آن است که در اتاق شما اشیای بزرگ مثل مبل و شومینه را تشخیص دهید. اما اگر با دقت بیشتری نگاه کنید الگو های ریز تری دیده می شود. مثلا اینکه در انگلیسی صفت قبل از موصوف می آید. با ادامه دادن افزایش دقت می توان به جایی رسید که ترتیب کلمات «the capital of france is به درستی کلمه paris را به عنوان کلمه بعدی پیدا کند. اینجا جایی است که شما از مولکول ها برای اسکن کردن «شکل داخل اتاق» استفاده می کنید.

مدل های زبانی در ابتدا هیچ تفاوتی بین انتخاب کلمات نمی گذارند. سیگنال تغییر و کاهش انتروپی (هدف کوچکتر کردن آنتروپی است) باعث می شود شبکه به تدریج بفهمد که کدام کلمات نباید بعد از کدام ها بیایند. این مانند این است که شما در ابتدا باید فرض کنید در هر جای اتاق در هر جهتی می توان حرکت کرد (بیشترین آنتروپی) و سپس چشم هایتان را ببندید به جلو بروید و پایتان به مبل بخورد اینجا می فهمید که «کجا نمی توان رفت». اینجا باید به نکته ی مهمی دقت کنید. وقتی می گوییم مدل زبانی به کلمه توجه می کند باید به این نکته دقت کنید که آن چیزی که مدل به آن دقت می کند بردار کلمه است.این بردار به تدریج اطلاعات زیادی را در خود ذخیره می کند مانند اینکه این توکن«فعل» است یا «مذکر» است یا غیره و غیره. چنین است که این مدل ها قادر به پیدا کردن ویژگی های بسیار سطح بالاتری می شوند. البته چنین ویژگی هایی لزوما همیشه برای ما دقیقا به همان معناهای «فعل» یا «مذکر» یا «اسم کشور» یا «فحش» نیست. به این ترتیب ساز و کارهای داخلی چنین شبکه هایی احتمالا برای همیشه غیر قابل تفسیر خواهد ماند.

اما معنای عمیق‌تر این است:
آنتروپی، هندسه است.
هندسه، ساختار است.
و ساختار، شکل اطلاعات است: از چینش کلمات یک شعر یا اثبات ریاضی تا نقشه‌ی پخش انسولین در خون تا زبانِ خود کیهان.

www.tgoop.com/matlabtips/1722

218 viewsedited  Jun 3 at 01:48

امروزه، مدل‌هایی در دل سیلیکون به نام ترنسفورمر (Transformers) ساخته‌ایم که وقتی به آن‌ها کلمه‌ای داده می‌شود، می‌توانند توزیع احتمال کلمه‌ی بعدی را با دقتی شگرف پیش‌بینی کنند.در مدل های زبانی امروزی وقتی یک کلمه به عنوان ورودی داده می شود مدل با دقت بسیار بالایی توزیع احتمال کلمه ی بعدی را پیش بینی می کند. به این ترتیب می توانیم یک نمونه از توزیع کلمه ی بعدی برداریم و همینطور کلمات بعدی و بعدی را بسازیم تا جملات و پاراگراف های طولانی ایجاد کنیم.

اینجا هم یک فضا وجود دارد از کلماتی که پشت سر هم می آیند و برخی از دنباله ها قابل قبول هستند (مثلا «او به بازار رفت» ) و برخی غیر قابل قبول (مثلا «بازار او رفت» ) یا حتی بهتر: چه دنباله هایی با احتمال بیشتری یا کمتری می آیند (احتمال بیشتر مانند «در کتاب نوشتم» و احتمال کمتر «کتاب پرواز کرد»). آنتروپی یا «بعد» چنین ماشینی تمام آن چیزی است که شکل آن را تعیین می کند. شاید الان بهتر متوجه شده باشید که چرا در مدل های زبانی آنتروپی را مینیمم می کنیم. چیزی که یک شبکه ی عصبی مانند مدل های ترنسفورمر یاد میگیرند تابع آنتروپی هر کلمه به شرط کلمات قبلی است. این آنتروپی فضای بسیار پیچیده و تو در توی زبان را با دقتی بالا تخمین می زند. کاری که حتی تا چند سال پیش غیر ممکن بنظر می رسید.


اما آیا راهی وجود دارد که این را حتی شهودی تر درک کرد؟ برای این منظور فرض کنید شما در یک اتاق هستید که اجسامی در آن وجود دارند. در این حالت هر درجه ی آزادی محدودیت هایی برایش ایجاد می شود. مثلا ممکن است شما براحتی نتوانید به چپ حرکت کنید چون تخت در سمت چپ شماست. اما اگر روی تخت بروید (یعنی در جهت بالا-پایین کمی بالا رفتید اید) می توانید کمی به چپ تر بروید. در اینجا ما با ابعاد فراکتالی روبرو هستیم. اینجا دیگر «بعد» فضا ۳ نیست بلکه بستگی به جایی دارد که قرار گرفته اید، بعضی جاها سه و بعضی جاها کمتر! «بعد» به روشی برعکس مشخص می کند که چه اجسام و اشیایی در فضای اتاق وجود دارند! اگر شما چشم هایتان را ببندید و فقط به صورت تصادفی در اتاق حرکت کنید (فرض کنید حتی می توان بالا پایین هم رفت) در عمل می توانید تمام اتاق را «اسکن» کنید. حتی می توانید این را با دقت بیشتری هم انجام دهید. اگر یک پهپاد به اندازه ی یه زنبور را داخل بفرستید می توانید حتی لیوان توی اتاق رو هم تشخیص بدهید.

مدل های زبانی به همین شکل فضای حرکت بین کلمات را «می روبند»، در ابتدا برخی از ویژگی های کلی به راحتی قابل تشخیص می شوند: مثلا درفارسی فاعل و بعد مفعول و بعد فعل می آید. این دقیقا مانند آن است که در اتاق شما اشیای بزرگ مثل مبل و شومینه را تشخیص دهید. اما اگر با دقت بیشتری نگاه کنید الگو های ریز تری دیده می شود. مثلا اینکه در انگلیسی صفت قبل از موصوف می آید. با ادامه دادن افزایش دقت می توان به جایی رسید که ترتیب کلمات «the capital of france is به درستی کلمه paris را به عنوان کلمه بعدی پیدا کند. اینجا جایی است که شما از مولکول ها برای اسکن کردن «شکل داخل اتاق» استفاده می کنید.

مدل های زبانی در ابتدا هیچ تفاوتی بین انتخاب کلمات نمی گذارند. سیگنال تغییر و کاهش انتروپی (هدف کوچکتر کردن آنتروپی است) باعث می شود شبکه به تدریج بفهمد که کدام کلمات نباید بعد از کدام ها بیایند. این مانند این است که شما در ابتدا باید فرض کنید در هر جای اتاق در هر جهتی می توان حرکت کرد (بیشترین آنتروپی) و سپس چشم هایتان را ببندید به جلو بروید و پایتان به مبل بخورد اینجا می فهمید که «کجا نمی توان رفت». اینجا باید به نکته ی مهمی دقت کنید. وقتی می گوییم مدل زبانی به کلمه توجه می کند باید به این نکته دقت کنید که آن چیزی که مدل به آن دقت می کند بردار کلمه است.این بردار به تدریج اطلاعات زیادی را در خود ذخیره می کند مانند اینکه این توکن«فعل» است یا «مذکر» است یا غیره و غیره. چنین است که این مدل ها قادر به پیدا کردن ویژگی های بسیار سطح بالاتری می شوند. البته چنین ویژگی هایی لزوما همیشه برای ما دقیقا به همان معناهای «فعل» یا «مذکر» یا «اسم کشور» یا «فحش» نیست. به این ترتیب ساز و کارهای داخلی چنین شبکه هایی احتمالا برای همیشه غیر قابل تفسیر خواهد ماند.

اما معنای عمیق‌تر این است:
آنتروپی، هندسه است.
هندسه، ساختار است.
و ساختار، شکل اطلاعات است: از چینش کلمات یک شعر یا اثبات ریاضی تا نقشه‌ی پخش انسولین در خون تا زبانِ خود کیهان.

BY MatlabTips