آموزش LLM و VLM

Forwarded from Tensorflow(@CVision)

چرا مدل‌های زبانی دچار توهم (Hallucination) می‌شوند؟

بر اساس گزارشی از OpenAI، پدیده توهم‌زایی (Hallucination) در مدل‌های زبانی بزرگ (LLMs) یک نقص ناشناخته و black-box نیست، بلکه نتیجه‌ای کاملاً قابل پیش‌بینی از نحوه آموزش و ارزیابی این مدلهاست. این مشکل به دو بخش اصلی تقسیم می‌شود:

1️⃣ پیش‌آموزش (pretraining)
2️⃣ پس‌آموزش (post-training)

1️⃣بخش اول: مشکلات به دلیل فاز Pretraining

توهم‌زایی از نظر آماری یک خطای طبیعی است. حتی اگر داده‌های آموزشی کاملاً بدون خطا باشند، مدل‌ها برای تخمین توزیع زبان بهینه می‌شوند و در این فرآیند، خطاهایی تولید می‌کنند. این پدیده شباهت دارد به مشکل "طبقه‌بندی دودویی" (آیا یک خروجی معتبر است؟)، اما مدل‌های زبانی باید پاسخ‌های کامل و معتبر تولید کنند که کار بسیار دشوارتری است.

یک عامل کلیدی در این مرحله، "نرخ تک‌نمونه" (Singleton Rate) است. این نرخ نشان می‌دهد چه تعداد از حقایق در داده‌های آموزشی فقط یک بار تکرار شده‌اند. برای مثال، اگر 20% از تاریخ‌های تولد تنها یک بار در مجموعه داده‌ها وجود داشته باشند، انتظار می‌رود مدل در حداقل 20% موارد درباره این حقایق توهم کند!

2️⃣بخش دوم: تشدید در Post-training

علیرغم تکنیک‌هایی مانند RLHF (یادگیری تقویتی از بازخورد انسانی) که برای کاهش توهم طراحی شده‌اند، این پدیده همچنان ادامه دارد. چرا؟ چون معیارهای ارزیابی رایج، مانند بنچمارک‌های باینری (صفر و یک)، به حدس زدن پاداش می‌دهند.

در یک سیستم نمره‌دهی باینری، پاسخ صحیح 1 امتیاز می‌گیرد، اما پاسخ‌های مبهم یا "نمی‌دانم" (I Don't Know) صفر امتیاز دارند. این ساختار مدل را به «حالت امتحان‌دهی» سوق می‌دهد و آن را تشویق می‌کند تا به جای اعتراف به عدم قطعیت، یک پاسخ نادرست اما قابل‌باور تولید کند. این "اپیدمی" جریمه‌کردن عدم قطعیت، باعث می‌شود مدل‌ها همیشه حدس بزنند تا امتیاز بیشتری کسب کنند، حتی اگر از پاسخشان مطمئن نباشند.

✅راه‌حل پیشنهادی: اصلاح ساختار ارزیابی

این گزارش پیشنهاد می‌کند به جای ساخت بنچمارک‌های جدید، نحوه نمره‌دهی بنچمارک‌های موجود اصلاح شود. برای حل این مشکل، باید:

⏺️ امتیازدهی به "نمی‌دانم": به مدل‌ها اجازه داده شود بدون جریمه‌شدن، عدم قطعیت خود را ابراز کنند و حتی برای آن امتیازی در نظر گرفته شود.

⏺️تعریف آستانه‌های اطمینان: دستورالعمل‌های ارزیابی باید صراحتاً مشخص کنند که مدل تنها در صورت اطمینان بالای یک آستانه مشخص (مثلاً 75%) پاسخ دهد.

این تغییرات "جامعه‌فنی" می‌تواند به مدل‌ها انگیزه دهد تا صادقانه‌تر و قابل‌اعتمادتر باشند و زمینه را برای توسعه سیستم‌های هوش مصنوعی قابل اطمینان‌تر فراهم کند.

🤔4👍3❤1

www.tgoop.com/llm_huggingface/67

1.64K viewsSep 7 at 10:17

چرا مدل‌های زبانی دچار توهم (Hallucination) می‌شوند؟

بر اساس گزارشی از OpenAI، پدیده توهم‌زایی (Hallucination) در مدل‌های زبانی بزرگ (LLMs) یک نقص ناشناخته و black-box نیست، بلکه نتیجه‌ای کاملاً قابل پیش‌بینی از نحوه آموزش و ارزیابی این مدلهاست. این مشکل به دو بخش اصلی تقسیم می‌شود:

1️⃣ پیش‌آموزش (pretraining)
2️⃣ پس‌آموزش (post-training)

1️⃣بخش اول: مشکلات به دلیل فاز Pretraining

توهم‌زایی از نظر آماری یک خطای طبیعی است. حتی اگر داده‌های آموزشی کاملاً بدون خطا باشند، مدل‌ها برای تخمین توزیع زبان بهینه می‌شوند و در این فرآیند، خطاهایی تولید می‌کنند. این پدیده شباهت دارد به مشکل "طبقه‌بندی دودویی" (آیا یک خروجی معتبر است؟)، اما مدل‌های زبانی باید پاسخ‌های کامل و معتبر تولید کنند که کار بسیار دشوارتری است.

یک عامل کلیدی در این مرحله، "نرخ تک‌نمونه" (Singleton Rate) است. این نرخ نشان می‌دهد چه تعداد از حقایق در داده‌های آموزشی فقط یک بار تکرار شده‌اند. برای مثال، اگر 20% از تاریخ‌های تولد تنها یک بار در مجموعه داده‌ها وجود داشته باشند، انتظار می‌رود مدل در حداقل 20% موارد درباره این حقایق توهم کند!

2️⃣بخش دوم: تشدید در Post-training

علیرغم تکنیک‌هایی مانند RLHF (یادگیری تقویتی از بازخورد انسانی) که برای کاهش توهم طراحی شده‌اند، این پدیده همچنان ادامه دارد. چرا؟ چون معیارهای ارزیابی رایج، مانند بنچمارک‌های باینری (صفر و یک)، به حدس زدن پاداش می‌دهند.

در یک سیستم نمره‌دهی باینری، پاسخ صحیح 1 امتیاز می‌گیرد، اما پاسخ‌های مبهم یا "نمی‌دانم" (I Don't Know) صفر امتیاز دارند. این ساختار مدل را به «حالت امتحان‌دهی» سوق می‌دهد و آن را تشویق می‌کند تا به جای اعتراف به عدم قطعیت، یک پاسخ نادرست اما قابل‌باور تولید کند. این "اپیدمی" جریمه‌کردن عدم قطعیت، باعث می‌شود مدل‌ها همیشه حدس بزنند تا امتیاز بیشتری کسب کنند، حتی اگر از پاسخشان مطمئن نباشند.

✅راه‌حل پیشنهادی: اصلاح ساختار ارزیابی

این گزارش پیشنهاد می‌کند به جای ساخت بنچمارک‌های جدید، نحوه نمره‌دهی بنچمارک‌های موجود اصلاح شود. برای حل این مشکل، باید:

⏺️ امتیازدهی به "نمی‌دانم": به مدل‌ها اجازه داده شود بدون جریمه‌شدن، عدم قطعیت خود را ابراز کنند و حتی برای آن امتیازی در نظر گرفته شود.

⏺️تعریف آستانه‌های اطمینان: دستورالعمل‌های ارزیابی باید صراحتاً مشخص کنند که مدل تنها در صورت اطمینان بالای یک آستانه مشخص (مثلاً 75%) پاسخ دهد.

این تغییرات "جامعه‌فنی" می‌تواند به مدل‌ها انگیزه دهد تا صادقانه‌تر و قابل‌اعتمادتر باشند و زمینه را برای توسعه سیستم‌های هوش مصنوعی قابل اطمینان‌تر فراهم کند.

BY آموزش LLM و VLM