نوشته‌های ترمینالی

Forwarded from Geek Alerts

0:30

This media is not supported in your browser

VIEW IN TELEGRAM

چطور مدل‌های اپن‌سورس مثل llama3 رو اجرا کنیم؟

همینطور که میدونید متا مدتی پیش از خانواده مدل‌ llama3 رونمایی کرد. مدلی که الان نسخه 70bش از بهترین مدل‌ Claude و یکی از نسخه‌های gpt4 بهتر عمل می‌کنه. حالا اگه بخوایم نسخه 8bش که مدل سبکی هم هست و حتی می‌تونید روی یک رزبری‌پای هم بالا بیاریدش، باید چیکار کنیم؟ (گرافیک قوی‌ای نمی‌خواد و صرفاً نیاز به رم بالای ۸ و یه پردازنده نسبتاً خوب نیاز دارید)

ساده‌ترین روش که تو ویدیو هم دیدیدش برای اجرای یک مدل، استفاده از ollamaست که یه ابزار تحت cliه. اینجوری که از این لینک نسخه مخصوص به سیستم‌عامل‌تون رو دانلود می‌کنید و نصب و بعدش با باز کردن یه پنجره ترمینال و نوشتن
ollama run llama3
نهایتا بعد از دانلود شدن مدل، می‌تونید باهاش چت کنید. برای ollama رابط‌های گرافیکی زیادی موجوده. مثل anythingllm یا open-webui که می‌تونید روی سیستم‌تون اجراشون کنید و ساده‌تر با مدل‌ها چت کنید.

حالا اگه یک محیط کامل(جدا از ollama) و به صورت گرافیکی می‌خواید، می‌تونید از LMStudio استفاده کنید. یه برنامه کامله که بهتون اجازه می‌ده مدل‌ها رو از HuggingFace دانلود کنید و بعد باهاش چت کنید. از مدل‌هایی که vision دارند هم پشتیبانی می‌کنه.
Hadi @geekalerts

www.tgoop.com/terminal_stuff/2903

1.6K viewsMay 4, 2024 at 16:31

چطور مدل‌های اپن‌سورس مثل llama3 رو اجرا کنیم؟

همینطور که میدونید متا مدتی پیش از خانواده مدل‌ llama3 رونمایی کرد. مدلی که الان نسخه 70bش از بهترین مدل‌ Claude و یکی از نسخه‌های gpt4 بهتر عمل می‌کنه. حالا اگه بخوایم نسخه 8bش که مدل سبکی هم هست و حتی می‌تونید روی یک رزبری‌پای هم بالا بیاریدش، باید چیکار کنیم؟ (گرافیک قوی‌ای نمی‌خواد و صرفاً نیاز به رم بالای ۸ و یه پردازنده نسبتاً خوب نیاز دارید)

ساده‌ترین روش که تو ویدیو هم دیدیدش برای اجرای یک مدل، استفاده از ollamaست که یه ابزار تحت cliه. اینجوری که از این لینک نسخه مخصوص به سیستم‌عامل‌تون رو دانلود می‌کنید و نصب و بعدش با باز کردن یه پنجره ترمینال و نوشتن
ollama run llama3
نهایتا بعد از دانلود شدن مدل، می‌تونید باهاش چت کنید. برای ollama رابط‌های گرافیکی زیادی موجوده. مثل anythingllm یا open-webui که می‌تونید روی سیستم‌تون اجراشون کنید و ساده‌تر با مدل‌ها چت کنید.

حالا اگه یک محیط کامل(جدا از ollama) و به صورت گرافیکی می‌خواید، می‌تونید از LMStudio استفاده کنید. یه برنامه کامله که بهتون اجازه می‌ده مدل‌ها رو از HuggingFace دانلود کنید و بعد باهاش چت کنید. از مدل‌هایی که vision دارند هم پشتیبانی می‌کنه.
Hadi @geekalerts

BY نوشته‌های ترمینالی