دیتاهاب

یک پروژه با RAG پیاده‌سازی می‌کردم
و متوجه شدم چرا همه این قدر روی vector database ها مانور میدن
یک knowledge base ساده از ۵۰۰ تا PDF ساختم، Embedding ازشون گرفتم و توی ChromaDB ریختم
حالا هر سوالی بپرسم، دقیقاً از همون PDF مربوطه جواب میده
یعنی عملاً می‌تونم یک chatbot متخصص بسازم که روی داده‌های خودم کار کنه
نه اینکه بره ChatGPT عمومی استفاده کنم که نصف حرفاش اشتباهه😎
مشکل اینجاس که embedding quality خیلی مهمه
اگه sentence transformer ضعیفی استفاده کنی، کل سیستم می‌ره تو فاز هذیون‌گویی
و chunk size هم باید دقیق تنظیم کنی وگرنه context گم میشه

👍11❤6

www.tgoop.com/data_hub_ir/915

1.52K viewsAug 14 at 07:41

یک پروژه با RAG پیاده‌سازی می‌کردم
و متوجه شدم چرا همه این قدر روی vector database ها مانور میدن
یک knowledge base ساده از ۵۰۰ تا PDF ساختم، Embedding ازشون گرفتم و توی ChromaDB ریختم
حالا هر سوالی بپرسم، دقیقاً از همون PDF مربوطه جواب میده
یعنی عملاً می‌تونم یک chatbot متخصص بسازم که روی داده‌های خودم کار کنه
نه اینکه بره ChatGPT عمومی استفاده کنم که نصف حرفاش اشتباهه😎
مشکل اینجاس که embedding quality خیلی مهمه
اگه sentence transformer ضعیفی استفاده کنی، کل سیستم می‌ره تو فاز هذیون‌گویی
و chunk size هم باید دقیق تنظیم کنی وگرنه context گم میشه

BY دیتاهاب