دیتاهاب

یه چیز عجیبه تو دنیای LLMها به اسم هالوسینیشن
یعنی مدل با اطمینان کامل یه چیزی می‌گه که اصلاً وجود نداره!

خب تا حالا روش مرسوم برای کنترلش RAG بوده.
یه جور ترکیب بازیابی اطلاعات با تولید پاسخ.
مثلاً می‌گه «جواب من اینه، ولی صبر کن برم یه سرچ هم بزنم ببینم چرت نگفتم!»
ولی راستش؟
تو خیلی از پروژه‌های واقعی، RAG بیشتر به درد تشخیص می‌خوره تا اصلاح.
یعنی می‌فهمه مدل اشتباه گفته، ولی خودش اصلاح نمی‌کنه.

حالا یه ایده جدید اومده: Guardian Agent
یه ماژول جداست که میاد جواب مدل رو خط‌به‌خط چک می‌کنه
اشتباهو پیدا می‌کنه، اصلاح می‌کنه، و حتی می‌گه چی رو چرا عوض کرده!

تو تست‌ها، حتی روی مدل‌های زیر ۷ میلیارد پارامتر، تونسته هالوسینیشن رو برسونه به زیر ۱٪
اونم بدون اینکه جمله‌هات شل و ول بشن یا ساختار جواب از هم بپاشه

🔍 نتیجه؟
اول Guardian اصلاح می‌کنه
بعد RAG هشدار می‌ده
و تو فضای سازمانی، فرق این دوتا می‌تونه فرق بین اعتماد و ترک پروژه باشه

#LLM #هوش_مصنوعی #هوش_مصنوعی #یادگیری_ماشین #تحلیل_داده #علم_داده

👍17🔥2❤1

www.tgoop.com/data_hub_ir/883

1.39K viewsedited  May 15 at 17:49

یه چیز عجیبه تو دنیای LLMها به اسم هالوسینیشن
یعنی مدل با اطمینان کامل یه چیزی می‌گه که اصلاً وجود نداره!

خب تا حالا روش مرسوم برای کنترلش RAG بوده.
یه جور ترکیب بازیابی اطلاعات با تولید پاسخ.
مثلاً می‌گه «جواب من اینه، ولی صبر کن برم یه سرچ هم بزنم ببینم چرت نگفتم!»
ولی راستش؟
تو خیلی از پروژه‌های واقعی، RAG بیشتر به درد تشخیص می‌خوره تا اصلاح.
یعنی می‌فهمه مدل اشتباه گفته، ولی خودش اصلاح نمی‌کنه.

حالا یه ایده جدید اومده: Guardian Agent
یه ماژول جداست که میاد جواب مدل رو خط‌به‌خط چک می‌کنه
اشتباهو پیدا می‌کنه، اصلاح می‌کنه، و حتی می‌گه چی رو چرا عوض کرده!

تو تست‌ها، حتی روی مدل‌های زیر ۷ میلیارد پارامتر، تونسته هالوسینیشن رو برسونه به زیر ۱٪
اونم بدون اینکه جمله‌هات شل و ول بشن یا ساختار جواب از هم بپاشه

🔍 نتیجه؟
اول Guardian اصلاح می‌کنه
بعد RAG هشدار می‌ده
و تو فضای سازمانی، فرق این دوتا می‌تونه فرق بین اعتماد و ترک پروژه باشه

#LLM #هوش_مصنوعی #هوش_مصنوعی #یادگیری_ماشین #تحلیل_داده #علم_داده

BY دیتاهاب