کاربردهای هوش مصنوعی دکتر پیرملکی

@AI_in_Practice

🧠 تکنیک‌های نوین ارزیابی #پرامپت

🎯 ۳. تحلیل داده‌محور #پرامپت‌ها با معیارهای #Precision و #Recall در مدل‌های زبانی
در طراحی #پرامپت، صرفا دریافت پاسخ کافی نیست؛ آنچه اهمیت دارد، #ارزیابی کیفیت پاسخ بر اساس دقت و جامعیت آن است.

🔍 برای این تحلیل، از رویکردی #داده‌محور و دو شاخص کلیدی استفاده می‌کنیم.
✅ Precision(دقت)
از بین خروجی‌هایی که مدل به‌عنوان «درست» یا «مرتبط» تولید کرده، چند درصد واقعاً درست بودن؟

✅  Recallکامل‌بودن) 
از بین همه پاسخ‌های درست ممکن، چند تاش توسط مدل پیدا شده؟

📌 این تحلیل با استفاده از پاسخ‌های طلایی (Gold Labels) انجام می‌شه. یعنی پاسخ‌های صحیح از قبل داریم و می‌تونیم خروجی مدل رو با اونا مقایسه کنیم.

📚 مثال کاربردی:
فرض کن داریم #پرامپتی رو برای #شناسایی کلمات کلیدی از یه متن طراحی می‌کنیم.
• Gold Labels# (کلمات کلیدی واقعی#)
("#هوش_مصنوعی", "#مدل_زبانی", "#پرامپت")
• خروجی مدل بعد از اجرای #پرامپت
("#هوش_مصنوعی", "#چت‌بات", "#پرامپت")

🔹 حالا می‌تونیم ارزیابی کنیم:

•  ✅ Precision = ۲ / ۳ = ۶۷٪
(مدل ۳ خروجی داده، ۲ تاش درست بودن)

•  ✅ Recall = ۲ / ۳ = ۶۷٪
(از ۳ پاسخ درست واقعی، ۲ تا شناسایی شدن)

🔍 چرا مهمه؟
وقتی داری پرامپتی رو برای استخراج، طبقه‌بندی، #خلاصه‌سازی یا پاسخ‌دهی طراحی می‌کنی، استفاده از این متریک‌ها کمک می‌کنه بفهمی:
• آیا #پرامپتت دقت بالایی داره یا خیر؟
• آیا #پرامپت چیزی از قلم نمی‌ندازه؟
• کجا باید بهبودش بدی؟

📌 در محیط‌های تحقیقاتی، توسعه‌ای استفاده از #Precision و #Recall کاملاً رایجه. این روش دید علمی‌تری برای تنظیم و بهبود پرامپت بهت می‌ده.

💡 یادت باشه:
گاهی لازمه پرامپتت دقیق باشه (Precision) بالا
و گاهی لازمه جامع باشه (Recall) بالا
بستگی داره هدف چی باشه!

فاطمه خادمی. 
AI Researcher -Master of Science in Industrial Engineering

تلگرام I  یوتیوب
🌸🌸🌸

www.tgoop.com/AI_in_Practice/682

3.6K viewsF Kh, edited  Jun 3 at 13:34

@AI_in_Practice

🧠 تکنیک‌های نوین ارزیابی #پرامپت

🎯 ۳. تحلیل داده‌محور #پرامپت‌ها با معیارهای #Precision و #Recall در مدل‌های زبانی
در طراحی #پرامپت، صرفا دریافت پاسخ کافی نیست؛ آنچه اهمیت دارد، #ارزیابی کیفیت پاسخ بر اساس دقت و جامعیت آن است.

🔍 برای این تحلیل، از رویکردی #داده‌محور و دو شاخص کلیدی استفاده می‌کنیم.
✅ Precision(دقت)
از بین خروجی‌هایی که مدل به‌عنوان «درست» یا «مرتبط» تولید کرده، چند درصد واقعاً درست بودن؟

✅  Recallکامل‌بودن) 
از بین همه پاسخ‌های درست ممکن، چند تاش توسط مدل پیدا شده؟

📌 این تحلیل با استفاده از پاسخ‌های طلایی (Gold Labels) انجام می‌شه. یعنی پاسخ‌های صحیح از قبل داریم و می‌تونیم خروجی مدل رو با اونا مقایسه کنیم.

📚 مثال کاربردی:
فرض کن داریم #پرامپتی رو برای #شناسایی کلمات کلیدی از یه متن طراحی می‌کنیم.
• Gold Labels# (کلمات کلیدی واقعی#)
("#هوش_مصنوعی", "#مدل_زبانی", "#پرامپت")
• خروجی مدل بعد از اجرای #پرامپت
("#هوش_مصنوعی", "#چت‌بات", "#پرامپت")

🔹 حالا می‌تونیم ارزیابی کنیم:

•  ✅ Precision = ۲ / ۳ = ۶۷٪
(مدل ۳ خروجی داده، ۲ تاش درست بودن)

•  ✅ Recall = ۲ / ۳ = ۶۷٪
(از ۳ پاسخ درست واقعی، ۲ تا شناسایی شدن)

🔍 چرا مهمه؟
وقتی داری پرامپتی رو برای استخراج، طبقه‌بندی، #خلاصه‌سازی یا پاسخ‌دهی طراحی می‌کنی، استفاده از این متریک‌ها کمک می‌کنه بفهمی:
• آیا #پرامپتت دقت بالایی داره یا خیر؟
• آیا #پرامپت چیزی از قلم نمی‌ندازه؟
• کجا باید بهبودش بدی؟

📌 در محیط‌های تحقیقاتی، توسعه‌ای استفاده از #Precision و #Recall کاملاً رایجه. این روش دید علمی‌تری برای تنظیم و بهبود پرامپت بهت می‌ده.

💡 یادت باشه:
گاهی لازمه پرامپتت دقیق باشه (Precision) بالا
و گاهی لازمه جامع باشه (Recall) بالا
بستگی داره هدف چی باشه!

فاطمه خادمی. 
AI Researcher -Master of Science in Industrial Engineering

تلگرام I  یوتیوب
🌸🌸🌸

BY کاربردهای هوش مصنوعی دکتر پیرملکی