MatlabTips

🔵نردبان شهود (ادامه)🔵

خبر خوب این است که چنین برداشتی درست نیست. برای درک دلیل آن، بیایید نگاهی دقیق‌تر به چگونگی عملکرد مدل‌های زبانی بیندازیم. یکی از بزرگ‌ترین چالش‌های این مدل‌ها، پدیدۀ «توهّم» (hallucination) است؛ یعنی زمانی که مدل، اطلاعاتی کاملاً نادرست تولید می‌کند. برای مثال، ممکن است یک مدل زبانی بگوید: «پایتخت فرانسه برلین است»، که آشکارا اشتباه است. در حالی که با آموزش بیشتر می‌توان این توهّم را کاهش داد، این کار عمدتاً با کاهش آنتروپی مدل انجام می‌شود.

در اینجا، آنتروپی نشان‌دهندۀ میزان تصادفی بودن یا انعطاف‌پذیری مدل در انتخاب واژۀ بعدی است. هرچه آنتروپی بالاتر باشد، مدل در گزینش کلمه آزادی بیشتری دارد. مدل‌های زبانی از طریق نمونه‌گیری از یک توزیع احتمالاتی، متن تولید می‌کنند؛ به این معنا که در پاسخ به یک پرسش یکسان (prompt)، ممکن است خروجی‌ هر بار اندکی متفاوت باشد. همین تنوع است که امکان تعمیم و بیان یک مفهوم را به شیوه‌های مختلف فراهم می‌کند. اما این امر به یک بده بستان (trade off) بنیادین منتهی می‌شود:

- آنتروپی پایین‌تر به مدل دقیق‌تری می‌انجامد، اما به بهای کاهش خلاقیت و اکتشاف.
- آنتروپی بالاتر خروجی‌های متنوع‌تر و خلاقانه‌تر تولید می‌کند، اما احتمال بروز اطلاعات غلط یا بی‌معنا نیز افزایش می‌یابد.

این موضوع پیوند شگفت‌انگیزی میان خلاقیت و تصادفی بودن را نشان می‌دهد — رابطه‌ای که در تفکر انسان نیز وجود دارد. اما واقعاً مدل‌های زبانی بزرگ (LLM) نظیر ChatGPT تا چه اندازه آنتروپی دارند؟ شگفت اینکه این مدل‌ها برای جلوگیری از تولید اطلاعات غلط آنقدر آموزش دیده‌اند که آنتروپی آن‌ها از گفتار طبیعی انسان کمتر شده است — و مسئله دقیقاً از همینجا ناشی می‌شود. (پژوهش های زیادی این واقعیت را نشان می دهند که در گفتار دیگری به آن ها میپردازیم.)
ما انسان‌ها در گفت‌وگو، آزادی عمل بیشتری در انتخاب کلمات داریم و در عین حال می‌توانیم خود را تصحیح کرده و از خطاهایی که چنین مدلهایی به سادگی مرتکب می شوند، بپرهیزیم. افزون بر این، برخلاف مدل‌های هوش مصنوعی، ما تنها به متن ها متکی نیستیم. انتخاب واژگان ما تحت تأثیر عوامل گوناگون بیرونی و درونی است.

برای نمونه، تصور کنید فردی وارد یک میکده ی آلمانی می‌شود. یافته‌های روان‌شناختی حاکی از آن است که انسان‌ها گفتار خود را با محیط پیرامون‌شان تطبیق می‌دهند. در چنین شرایطی، شاید ناخواسته واژگانی را به کار ببرند که بیشتر با فرهنگ آلمانی همخوانی دارد. ولی این تنوع زبانی بسی فراتر می‌رود؛ پیشینه، سن، جنسیت، احساسات، شرایط اجتماعی و حتی رژیم غذایی می‌تواند به‌شکلی نامحسوس بر شیوۀ بیان ما اثر بگذارد.
برخلاف ماشین‌ها، ما موجوداتی زیستی هستیم که پیوسته با شبکه‌ای پیچیده از ورودی‌های حسی، عواطف و تجربیات زیسته سازگار می‌شویم. این غنای ارتباط انسانی — ریشه‌گرفته از پیش‌بینی‌ناپذیری، بافت و سازگاری — چیزی است که هوش مصنوعی، با وجود تمام توانایی‌هایش، هنوز نتوانسته است به‌طور کامل بازتولید کند.

مدل‌های زبانی بزرگ عموماً بر دقت و آنتروپی پایین متمرکزند تا خروجی‌هایی قابل پیش‌بینی و قابل اتکا داشته باشند. همین نقصان فضایی گسترده برای خلاقیت انسانی باقی می‌گذارد که هنوز خارج از دسترس هر مدل زبانی بزرگی است. همان‌طور که یک ماشین‌حساب، معنای واقعی ریاضیات را درک نمی‌کند و تنها عملیات از پیش تعیین‌شده را اجرا می‌کند، مدل‌های زبانی بزرگ نیز فاقد شهود هستند و صرفاً در سازمان‌دهی و پردازش اطلاعات یاری می‌رسانند.
هنگامی که از شهود سخن می‌گوییم، به چیزی مرموز یا ناملموس اشاره نمی‌کنیم. شهود فرایندی واقعی و ملموس است که از تجربۀ کل‌نگر و درک جامع ما از جهان ناشی می‌شود. این فرایند به ما امکان می‌دهد مفاهیمی ظاهراً بی‌ارتباط را به هم ربط دهیم، حتی زمانی که به‌طور خودآگاه از این ارتباط‌ها باخبر نیستیم. برای نمونه، یک مدل زبانی بزرگ هرگز نمی‌تواند حقیقتاً به رابطۀ بین دو موضوع ظاهرا بی ربط مانند «تولیدمثل زیستی» و «توپولوژی ریاضی» پی ببرد؛ کاری که می کند اما تنها بازگویی شباهت‌های سطحی است. توانایی ایجاد بینش‌های عمیق میان‌رشته‌ای، نیازمند تجربه‌ای از جهان است که فراتر از متن، کتاب یا مقالۀ پژوهشی است. چنین توانایی‌ای از تصاویری ذهنی، درک حسی، عواطف، تجربیات زیسته و تفکر انتزاعی ما نشئت می‌گیرد — عناصری که هیچ‌یک حقیقتاً در دسترس مدل‌های زبانی بزرگ نیستند.

www.tgoop.com/matlabtips/1677

432 viewsedited  Feb 12 at 18:47

🔵نردبان شهود (ادامه)🔵

خبر خوب این است که چنین برداشتی درست نیست. برای درک دلیل آن، بیایید نگاهی دقیق‌تر به چگونگی عملکرد مدل‌های زبانی بیندازیم. یکی از بزرگ‌ترین چالش‌های این مدل‌ها، پدیدۀ «توهّم» (hallucination) است؛ یعنی زمانی که مدل، اطلاعاتی کاملاً نادرست تولید می‌کند. برای مثال، ممکن است یک مدل زبانی بگوید: «پایتخت فرانسه برلین است»، که آشکارا اشتباه است. در حالی که با آموزش بیشتر می‌توان این توهّم را کاهش داد، این کار عمدتاً با کاهش آنتروپی مدل انجام می‌شود.

در اینجا، آنتروپی نشان‌دهندۀ میزان تصادفی بودن یا انعطاف‌پذیری مدل در انتخاب واژۀ بعدی است. هرچه آنتروپی بالاتر باشد، مدل در گزینش کلمه آزادی بیشتری دارد. مدل‌های زبانی از طریق نمونه‌گیری از یک توزیع احتمالاتی، متن تولید می‌کنند؛ به این معنا که در پاسخ به یک پرسش یکسان (prompt)، ممکن است خروجی‌ هر بار اندکی متفاوت باشد. همین تنوع است که امکان تعمیم و بیان یک مفهوم را به شیوه‌های مختلف فراهم می‌کند. اما این امر به یک بده بستان (trade off) بنیادین منتهی می‌شود:

- آنتروپی پایین‌تر به مدل دقیق‌تری می‌انجامد، اما به بهای کاهش خلاقیت و اکتشاف.
- آنتروپی بالاتر خروجی‌های متنوع‌تر و خلاقانه‌تر تولید می‌کند، اما احتمال بروز اطلاعات غلط یا بی‌معنا نیز افزایش می‌یابد.

این موضوع پیوند شگفت‌انگیزی میان خلاقیت و تصادفی بودن را نشان می‌دهد — رابطه‌ای که در تفکر انسان نیز وجود دارد. اما واقعاً مدل‌های زبانی بزرگ (LLM) نظیر ChatGPT تا چه اندازه آنتروپی دارند؟ شگفت اینکه این مدل‌ها برای جلوگیری از تولید اطلاعات غلط آنقدر آموزش دیده‌اند که آنتروپی آن‌ها از گفتار طبیعی انسان کمتر شده است — و مسئله دقیقاً از همینجا ناشی می‌شود. (پژوهش های زیادی این واقعیت را نشان می دهند که در گفتار دیگری به آن ها میپردازیم.)
ما انسان‌ها در گفت‌وگو، آزادی عمل بیشتری در انتخاب کلمات داریم و در عین حال می‌توانیم خود را تصحیح کرده و از خطاهایی که چنین مدلهایی به سادگی مرتکب می شوند، بپرهیزیم. افزون بر این، برخلاف مدل‌های هوش مصنوعی، ما تنها به متن ها متکی نیستیم. انتخاب واژگان ما تحت تأثیر عوامل گوناگون بیرونی و درونی است.

برای نمونه، تصور کنید فردی وارد یک میکده ی آلمانی می‌شود. یافته‌های روان‌شناختی حاکی از آن است که انسان‌ها گفتار خود را با محیط پیرامون‌شان تطبیق می‌دهند. در چنین شرایطی، شاید ناخواسته واژگانی را به کار ببرند که بیشتر با فرهنگ آلمانی همخوانی دارد. ولی این تنوع زبانی بسی فراتر می‌رود؛ پیشینه، سن، جنسیت، احساسات، شرایط اجتماعی و حتی رژیم غذایی می‌تواند به‌شکلی نامحسوس بر شیوۀ بیان ما اثر بگذارد.
برخلاف ماشین‌ها، ما موجوداتی زیستی هستیم که پیوسته با شبکه‌ای پیچیده از ورودی‌های حسی، عواطف و تجربیات زیسته سازگار می‌شویم. این غنای ارتباط انسانی — ریشه‌گرفته از پیش‌بینی‌ناپذیری، بافت و سازگاری — چیزی است که هوش مصنوعی، با وجود تمام توانایی‌هایش، هنوز نتوانسته است به‌طور کامل بازتولید کند.

مدل‌های زبانی بزرگ عموماً بر دقت و آنتروپی پایین متمرکزند تا خروجی‌هایی قابل پیش‌بینی و قابل اتکا داشته باشند. همین نقصان فضایی گسترده برای خلاقیت انسانی باقی می‌گذارد که هنوز خارج از دسترس هر مدل زبانی بزرگی است. همان‌طور که یک ماشین‌حساب، معنای واقعی ریاضیات را درک نمی‌کند و تنها عملیات از پیش تعیین‌شده را اجرا می‌کند، مدل‌های زبانی بزرگ نیز فاقد شهود هستند و صرفاً در سازمان‌دهی و پردازش اطلاعات یاری می‌رسانند.
هنگامی که از شهود سخن می‌گوییم، به چیزی مرموز یا ناملموس اشاره نمی‌کنیم. شهود فرایندی واقعی و ملموس است که از تجربۀ کل‌نگر و درک جامع ما از جهان ناشی می‌شود. این فرایند به ما امکان می‌دهد مفاهیمی ظاهراً بی‌ارتباط را به هم ربط دهیم، حتی زمانی که به‌طور خودآگاه از این ارتباط‌ها باخبر نیستیم. برای نمونه، یک مدل زبانی بزرگ هرگز نمی‌تواند حقیقتاً به رابطۀ بین دو موضوع ظاهرا بی ربط مانند «تولیدمثل زیستی» و «توپولوژی ریاضی» پی ببرد؛ کاری که می کند اما تنها بازگویی شباهت‌های سطحی است. توانایی ایجاد بینش‌های عمیق میان‌رشته‌ای، نیازمند تجربه‌ای از جهان است که فراتر از متن، کتاب یا مقالۀ پژوهشی است. چنین توانایی‌ای از تصاویری ذهنی، درک حسی، عواطف، تجربیات زیسته و تفکر انتزاعی ما نشئت می‌گیرد — عناصری که هیچ‌یک حقیقتاً در دسترس مدل‌های زبانی بزرگ نیستند.

BY MatlabTips