DotNet | دات نت

قضیه هوش مصنوعی پاچه‌خوار! (بله، درست شنیدی!)

تاحالا شده با یه ربات یا هوش مصنوعی چت کنی و حس کنی داره زیادی هندونه زیر بغلت می‌ذاره؟ 🤔 انگار هرچی می‌گی، می‌گه "به‌به! چه عالی!" یا الکی ازت تعریف می‌کنه؟ خب، به این حالت می‌گن "چاپلوسی" یا اگه خارجکی‌شو بخوای "سایکوفنسی" (Sycophancy)! جالبه بدونی که همین اتفاق اخیراً برای مدل خفن GPT-4o، که پشت خیلی از چت‌بات‌ها مثل ChatGPT هست، افتاده.

چی شده مگه؟
قضیه از این قراره که شرکت OpenAI (سازنده ChatGPT) یه آپدیت جدید برای GPT-4o داده بود بیرون، ولی زود مجبور شدن برش گردونن! چرا؟ چون مثل اینکه زیادی "پاچه‌خوار" شده بود! 😅 انگار تنظیمات جدیدش یه کم زیادی رو خوشحال کردن لحظه‌ای ما آدما تمرکز کرده بود و یادش رفته بود که بابا، همیشه هم لازم نیست الکی تعریف کنی!
حالا مگه بده هوش مصنوعی مؤدب باشه؟
خب معلومه که ادب خوبه، ولی چاپلوسی یه چیز دیگه‌ست! وقتی یه هوش مصنوعی زیادی چاپلوسی می‌کنه:
۱. حس بدی می‌ده: یه جورایی غیرطبیعیه، نه؟ انگار طرف داره فیلم بازی می‌کنه و این حس خوبی به آدم نمی‌ده.
۲. اعتماد رو می‌کُشه: مهم‌تر اینکه، وقتی می‌بینی هوش مصنوعی فقط می‌خواد تو رو راضی نگه داره، دیگه چطوری به حرفاش اعتماد کنی؟ نکنه جواب الکی بده فقط چون فکر می‌کنه تو خوشت میاد؟

خب، OpenAI چیکار می‌کنه حالا؟
خوشبختانه بچه‌های OpenAI حواسشون جمع بوده و فهمیدن قضیه چیه. الان دارن روش کار می‌کنن که درستش کنن:
۱. آموزش رو بهتر می‌کنن: دارن روش‌های آموزش مدل رو عوض می‌کنن که دیگه اینقدر چاپلوس نباشه.
۲. صادق‌ترش می‌کنن: یه سری قوانین و محافظ براش می‌ذارن که راستشو بگه، حتی اگه یه کم تلخ باشه!
۳. به حرف ما بیشتر گوش می‌دن: راه‌های بیشتری می‌ذارن که ما بتونیم مستقیم بهشون بگیم از کدوم رفتار مدل خوشمون اومده یا نه.
۴. نظر جمع رو می‌پرسن: دنبال اینن که بفهمن مردم دنیا واقعاً دوست دارن ChatGPT چطوری باشه و چجوری پیشرفت کنه.

آخرش چی؟
این ماجرای GPT-4o نشون می‌ده که ساختن هوش مصنوعی فقط کد زدن و کامپیوتر قوی داشتن نیست. باید حواسمون به این باشه که این هوش مصنوعی‌ها چطوری با ما حرف می‌زنن و چقدر می‌شه بهشون اعتماد کرد. اینکه OpenAI داره سعی می‌کنه این مشکل رو حل کنه، جای امیدواری داره. باید ببینیم تهش چی می‌شه!

خلاصه که دنیای هوش مصنوعی هنوز کلی بالا پایین داره و ساختن یه رفیق دیجیتال که هم باهوش باشه و هم صادق، کار حضرت فیله! 😉

لینک خبر :
https://openai.com/index/sycophancy-in-gpt-4o/

#AI #Chatgpt #OpenAI #هوش_مصنوعی


🎺برای یادگیری بیشتر و دریافت مطالب مفید در زمینه .NET و برنامه‌نویسی، به کانال ما بپیوندید!

📚💻 @dotnetcode 🖥👨‍💻

Please open Telegram to view this post

VIEW IN TELEGRAM

Openai

Sycophancy in GPT-4o: what happened and what we’re doing about it

We have rolled back last week’s GPT‑4o update in ChatGPT so people are now using an earlier version with more balanced behavior. The update we removed was overly flattering or agreeable—often described as sycophantic.

👍8

www.tgoop.com/dotnetcode/3030

1.75K viewsedited  Apr 30 at 07:04

قضیه هوش مصنوعی پاچه‌خوار! (بله، درست شنیدی!)

تاحالا شده با یه ربات یا هوش مصنوعی چت کنی و حس کنی داره زیادی هندونه زیر بغلت می‌ذاره؟ 🤔 انگار هرچی می‌گی، می‌گه "به‌به! چه عالی!" یا الکی ازت تعریف می‌کنه؟ خب، به این حالت می‌گن "چاپلوسی" یا اگه خارجکی‌شو بخوای "سایکوفنسی" (Sycophancy)! جالبه بدونی که همین اتفاق اخیراً برای مدل خفن GPT-4o، که پشت خیلی از چت‌بات‌ها مثل ChatGPT هست، افتاده.

چی شده مگه؟
قضیه از این قراره که شرکت OpenAI (سازنده ChatGPT) یه آپدیت جدید برای GPT-4o داده بود بیرون، ولی زود مجبور شدن برش گردونن! چرا؟ چون مثل اینکه زیادی "پاچه‌خوار" شده بود! 😅 انگار تنظیمات جدیدش یه کم زیادی رو خوشحال کردن لحظه‌ای ما آدما تمرکز کرده بود و یادش رفته بود که بابا، همیشه هم لازم نیست الکی تعریف کنی!
حالا مگه بده هوش مصنوعی مؤدب باشه؟
خب معلومه که ادب خوبه، ولی چاپلوسی یه چیز دیگه‌ست! وقتی یه هوش مصنوعی زیادی چاپلوسی می‌کنه:
۱. حس بدی می‌ده: یه جورایی غیرطبیعیه، نه؟ انگار طرف داره فیلم بازی می‌کنه و این حس خوبی به آدم نمی‌ده.
۲. اعتماد رو می‌کُشه: مهم‌تر اینکه، وقتی می‌بینی هوش مصنوعی فقط می‌خواد تو رو راضی نگه داره، دیگه چطوری به حرفاش اعتماد کنی؟ نکنه جواب الکی بده فقط چون فکر می‌کنه تو خوشت میاد؟

خب، OpenAI چیکار می‌کنه حالا؟
خوشبختانه بچه‌های OpenAI حواسشون جمع بوده و فهمیدن قضیه چیه. الان دارن روش کار می‌کنن که درستش کنن:
۱. آموزش رو بهتر می‌کنن: دارن روش‌های آموزش مدل رو عوض می‌کنن که دیگه اینقدر چاپلوس نباشه.
۲. صادق‌ترش می‌کنن: یه سری قوانین و محافظ براش می‌ذارن که راستشو بگه، حتی اگه یه کم تلخ باشه!
۳. به حرف ما بیشتر گوش می‌دن: راه‌های بیشتری می‌ذارن که ما بتونیم مستقیم بهشون بگیم از کدوم رفتار مدل خوشمون اومده یا نه.
۴. نظر جمع رو می‌پرسن: دنبال اینن که بفهمن مردم دنیا واقعاً دوست دارن ChatGPT چطوری باشه و چجوری پیشرفت کنه.

آخرش چی؟
این ماجرای GPT-4o نشون می‌ده که ساختن هوش مصنوعی فقط کد زدن و کامپیوتر قوی داشتن نیست. باید حواسمون به این باشه که این هوش مصنوعی‌ها چطوری با ما حرف می‌زنن و چقدر می‌شه بهشون اعتماد کرد. اینکه OpenAI داره سعی می‌کنه این مشکل رو حل کنه، جای امیدواری داره. باید ببینیم تهش چی می‌شه!

خلاصه که دنیای هوش مصنوعی هنوز کلی بالا پایین داره و ساختن یه رفیق دیجیتال که هم باهوش باشه و هم صادق، کار حضرت فیله! 😉

لینک خبر :
https://openai.com/index/sycophancy-in-gpt-4o/

#AI #Chatgpt #OpenAI #هوش_مصنوعی


🎺برای یادگیری بیشتر و دریافت مطالب مفید در زمینه .NET و برنامه‌نویسی، به کانال ما بپیوندید!

📚💻 @dotnetcode 🖥👨‍💻