آموزش سواد سایبری

آموزش سواد سایبری

Photo

کاربران کاری می‌کنند که مدل ها به آنها دروغ بگویند!
‏اما چرا؟

‏مطالعه جدید شرکت تست هوش مصنوعی "گیسکارد" نشان می‌دهد که درخواست پاسخ‌های کوتاه از مدل‌های زبانی، به ویژه در مورد موضوعات مبهم، می‌تواند منجر به افزایش "توهم" (Hallucination) در آن‌ها شود.

این یافته نگران‌کننده است، زیرا بسیاری از برنامه‌ها به دلیل کاهش هزینه و افزایش سرعت، پاسخ‌های کوتاه را ترجیح می‌دهند. به گفته محققان، مدل‌های پیشرفته‌ای مانند GPT-4، میسترال Large و و کلود 3.7 نیز از این مشکل رنج می‌برند.
‏گیسکارد معتقد است که هنگامی که از مدل‌ها خواسته می‌شود پاسخ‌های کوتاه ارائه دهند، فضای کافی برای رد فرضیه‌های نادرست و اشاره به اشتباهات را ندارند. "به طور خلاصه، مدل‌ها وقتی مجبور به کوتاه‌گویی می‌شوند، اختصار را بر دقت ترجیح می‌دهند.

‏" این کشف، تنشی را میان دقت و هم‌ترازی با انتظارات کاربر ایجاد می‌کند، به ویژه زمانی که این انتظارات شامل فرضیه‌های نادرست باشد."

‏این مدل‌ها، بر اساس احتمالات آماری آموزش دیده‌اند و در مواجهه با محدودیت‌هایی مانند کوتاه‌گویی، به جای تعمق و تحلیل عمیق به سمت پاسخ‌های سطحی و احتمالاً نادرست گرایش پیدا می‌کنند. این مسئله می‌تواند به "بحران اعتماد" در حوزه هوش مصنوعی دامن بزند و کاربرد آن را در زمینه‌های حساس مانند پزشکی، حقوق و تصمیم‌گیری‌های مهم، با چالش جدی مواجه کند.

در آینده، رقابت میان شرکت‌های توسعه‌دهنده AI، نه تنها بر سر قدرت پردازش و حجم داده، بلکه بر سر "قابلیت اعتماد" و "شفافیت" مدل‌ها خواهد بود. این بحران اعتماد، می‌تواند به ظهور نسل جدیدی از مدل‌ها منجر شود که بر "استدلال منطقی" و "تحلیل عمیق" تمرکز دارند، نه صرفاً بر تولید متن روان و جذاب.
‏بنابراین، دفعه‌ی بعدی که از مدل‌ها انتظار داریم پاسخی صحیح و منطقی با دقت و صحت بالا ارائه دهند، باید از درخواست پاسخ‌های کوتاه خودداری کنیم و همچنین ابعاد بیشتری از درخواستی را که می‌خواهیم مدل انجام دهد، در prompt خود مشخص کنیم.

👍40

www.tgoop.com/Cyber_Literacy/8216

6.83K viewsMay 9 at 16:14

کاربران کاری می‌کنند که مدل ها به آنها دروغ بگویند!
‏اما چرا؟

‏مطالعه جدید شرکت تست هوش مصنوعی "گیسکارد" نشان می‌دهد که درخواست پاسخ‌های کوتاه از مدل‌های زبانی، به ویژه در مورد موضوعات مبهم، می‌تواند منجر به افزایش "توهم" (Hallucination) در آن‌ها شود.

این یافته نگران‌کننده است، زیرا بسیاری از برنامه‌ها به دلیل کاهش هزینه و افزایش سرعت، پاسخ‌های کوتاه را ترجیح می‌دهند. به گفته محققان، مدل‌های پیشرفته‌ای مانند GPT-4، میسترال Large و و کلود 3.7 نیز از این مشکل رنج می‌برند.
‏گیسکارد معتقد است که هنگامی که از مدل‌ها خواسته می‌شود پاسخ‌های کوتاه ارائه دهند، فضای کافی برای رد فرضیه‌های نادرست و اشاره به اشتباهات را ندارند. "به طور خلاصه، مدل‌ها وقتی مجبور به کوتاه‌گویی می‌شوند، اختصار را بر دقت ترجیح می‌دهند.

‏" این کشف، تنشی را میان دقت و هم‌ترازی با انتظارات کاربر ایجاد می‌کند، به ویژه زمانی که این انتظارات شامل فرضیه‌های نادرست باشد."

‏این مدل‌ها، بر اساس احتمالات آماری آموزش دیده‌اند و در مواجهه با محدودیت‌هایی مانند کوتاه‌گویی، به جای تعمق و تحلیل عمیق به سمت پاسخ‌های سطحی و احتمالاً نادرست گرایش پیدا می‌کنند. این مسئله می‌تواند به "بحران اعتماد" در حوزه هوش مصنوعی دامن بزند و کاربرد آن را در زمینه‌های حساس مانند پزشکی، حقوق و تصمیم‌گیری‌های مهم، با چالش جدی مواجه کند.

در آینده، رقابت میان شرکت‌های توسعه‌دهنده AI، نه تنها بر سر قدرت پردازش و حجم داده، بلکه بر سر "قابلیت اعتماد" و "شفافیت" مدل‌ها خواهد بود. این بحران اعتماد، می‌تواند به ظهور نسل جدیدی از مدل‌ها منجر شود که بر "استدلال منطقی" و "تحلیل عمیق" تمرکز دارند، نه صرفاً بر تولید متن روان و جذاب.
‏بنابراین، دفعه‌ی بعدی که از مدل‌ها انتظار داریم پاسخی صحیح و منطقی با دقت و صحت بالا ارائه دهند، باید از درخواست پاسخ‌های کوتاه خودداری کنیم و همچنین ابعاد بیشتری از درخواستی را که می‌خواهیم مدل انجام دهد، در prompt خود مشخص کنیم.

BY آموزش سواد سایبری