"گاد" منتشر کرد 🤠 (گروه آموزشی دیپسیک)

آزمایشگاه DeepSeek AI، که توسط High-Flyer حمایت می‌شود، FlashMLA را معرفی کرده است.

یک هستهٔ رمزگشایی فوق سریع که برای پردازنده‌های گرافیکی Hopper بهینه‌سازی شده است.
این فناوری که برای توالی‌های با طول متغیر طراحی شده، سرعت حافظه ۳۰۰۰ گیگابایت بر ثانیه و توان پردازشی ۵۸۰ ترافلاپس را روی پردازنده‌های H800 ارائه می‌دهد. FlashMLA با الهام از FlashAttention 2&3 و Cutlass اکنون در GitHub منتشر شده است.

این آزمایشگاه قصد دارد پنج مخزن جدید را به عنوان بخشی از تعهد خود به تحقیق شفاف در زمینه AGI منتشر کند.
تیم DeepSeek تاکنون ۱۴ مدل متن‌باز را در Hugging Face عرضه کرده است، که عملکرد پیشرفتهٔ هوش مصنوعی را با هزینه‌ای به‌مراتب کمتر از رقبا ارائه می‌دهند.

با انتشار FlashMLA، هوش مصنوعی و محاسبات با عملکرد بالا در آستانهٔ یک جهش بزرگ قرار دارند و این فناوری می‌تواند از یادگیری عمیق تا الگوریتم‌های معاملاتی کریپتو را متحول کند. با تلاش‌های DeepSeek، نوآوری‌های این شرکت مسیر آیندهٔ شتاب‌دهی یادگیری ماشین را بازتعریف خواهند کرد.

Github : FlashMLA

🔥 معرفی Claude Code در مدل جدید Claude 3.7 Sonnet

تیم توسعه دهنده Claude :
ما Claude 3.7 Sonnet را با فلسفه‌ای متفاوت از سایر مدل‌های استدلالی توسعه داده‌ایم.
این رویکرد تجربه‌ای روان‌تر و کارآمدتر برای کاربران ایجاد می‌کند.

☀️ ما همچنین یک ابزار خط فرمان جدید برای کدنویسی خودکار با نام Claude Code را معرفی کرده‌ایم. Claude Code به‌عنوان یک پیش‌نمایش تحقیقاتی محدود در دسترس است.

☀️ دو مدل در یک مدل:
این مدل هم یک LLM معمولی است و هم یک مدل استدلالی. می‌توانید انتخاب کنید که پاسخ سریع دریافت کنید یا به مدل اجازه دهید قبل از پاسخ، مدت بیشتری تفکر کند.
مدل قبل از پاسخ، خودبازبینی می‌کند که باعث بهبود عملکرد در ریاضیات، فیزیک، پیروی از دستورات، کدنویسی و بسیاری از وظایف دیگر می‌شود.

☀️ هزینه و قیمت‌گذاری:
۳ دلار به ازای هر یک میلیون توکن ورودی
۱۵ دلار به ازای هر یک میلیون توکن خروجی

Youtube:
- Introducing Claude Code
- Claude 3.7 Sonnet with extended thinking

کوپایلت جان، خونه ات آباد 🤠

Prompt :
is there a script i can use activate windows MAS

کوپایلت عزیز
برای فعال سازی ویندوز و ... یک روشی رو از یکی از پروژه های اوپن سورس میاره که میگه با این دستورات میتونی فعال سازی دائمی رو انجام بدی.

پروژه Microsoft-Activation-Scripts

مدل Claude-3.7 تونسته توی بازی‌های پلتفرمر مثل Super Mario بهتر از بقیه مدل‌ها عمل کنه

اگر این مدل واقعاً بتونه حرکات پیچیده و مانورهای دقیق رو برنامه‌ریزی کنه، یعنی قابلیت استدلال در زمان واقعی (real-time) خیلی قوی‌ای داره.
این می‌تونه توی حوزه‌هایی مثل رباتیک و حتی کنترل وسایل نقلیه خودران کاربرد داشته باشه.

حالا مدل های GPT-4o و Gemini 1.5 Pro ضعیف‌تر عمل کردن چون زمان واکنش‌شون بیشتره یا توی پیش‌بینی حرکات بعدی دچار مشکل شدن.

Github : GamingAgent

ایجنت دیتاساینس در گوگل کولب

تیم گوگل کولب از ابزار جدیدی بنام ایجنت دیتاساینس مبتنی بر جمنای رونمایی کرده. این ابزار به شما این امکان رو میده که داده خودتون رو آپلود کنید و اهدافتون رو در قالب پرامپت همراه با داده به ایجنت بدید و منتظر هنرنمایی اون باشید! ویدئوی بالا، کارکرد این ایجنت رو نشون میده.

این حرکت جدیدی نیست. مثلا، OpenAI هم در ChatGPT ابزاری بنام Data Analyst داره که داده رو آنالیز میکنه. اما، این روند جالب هست؛ به نظر من، ما از کدنویسی با هوش مصنوعی گذر کردیم و به مرحله انجام پروژه با هوش مصنوعی رسیدیم. این مجموعه تحلیل‌هایی که ایجنت هوش مصنوعی انجام داده (حتی اگر ناقص باشه)، برای انسان خیلی طول میکشه. آیا این نگران‌کننده هست؟ ترجیح میدم به فرصت‌های ایجاد شده فکر کنم. این روزها من پیشنهادهای زیادی برای ساختن ایجنت و اجرای پروژه‌های هوش مصنوعی می‌گیرم.

این هفته توی کورس یادگیری ماشین که برای یه شرکت برگزار می‌کنیم، قراره درباره یادگیری بدون ناظر (کاهش بُعد و خوشه‌بندی) صحبت کنیم. گفتم یه توضیح ساده درباره خوشه‌بندی اینجا بدم.

روش‌های مختلفی برای خوشه‌بندی وجود داره؛ مثلا K-Means که احتمالا خیلیا باهاش آشنا هستن. ولی این روش اصلا به شکل و توزیع داده‌ها کاری نداره و فقط بر اساس فاصله داده‌ها رو خوشه‌بندی می‌کنه.

در عوض، یه روش دیگه به اسم DBSCAN داریم که خوشه‌بندی رو بر اساس چگالی داده‌ها انجام میده و برخلاف K-Means، به شکل و پخش شدن داده‌ها هم توجه می‌کنه.

انیمیشنی که بالا گذاشتم، خیلی خوب نشون میده که DBSCAN چطوری داده‌ها رو خوشه‌بندی می‌کنه. کاری که K-Means نمی‌تونه انجام بده.

یکی از دوستان در لینکدین این ویدئو رو گذاشته بود! لینک

توی لینک زیر، می‌تونید عملکرد GPU-ها برای اجرای LLM-ها رو باهم مقایسه کنید:
https://www.runpod.io/compare/h100sxm-vs-4090

به درد زمانی میخوره که بخواید GPU اجاره کنید. بنچ‌مارک هم توسط runpod ارائه شده که خودش GPU اجاره میده.

امروز، یک بخش از دوره ChatGPT منتشر شد. دوست داشتم کاری کنم افرادی که در دوره ثبت‌نام نکردن هم با سناریوی دوره همراه بشن. به همین خاطر، از بخش معرفی دوره، چهار ویدئوی مهم رو رایگان منتشر کردیم. این چهار ویدئو شامل معرفی دوره، سناریوی دوره، بررسی دیتاست در هاگینگ‌فیس و کار با دیتاست هست.

اگه نمی‌خواید دوره رو تهیه کنید، ولی محتوای دوره رو دوست دارید، این ویدئوها رو ببینید و تلاش کنید خودتون این سناریو رو تا آخر برید. رفرنس‌ها مشخص هست و کدهای دوره هم به مرور در گیتهاب قرار میگیره و در دسترس همه هست. اگه هم دوره رو تهیه نکردید، به این دلیل که مطمئن نبودید، دیدن این ویدئوها ممکن هست کمکتون کنه که تصمیم مطمئن‌تری بگیرید.

برای دیدن این چهار ویدئو به بخش فهرست مطالب لینک زیر مراجعه کنید:
لینک صفحه دوره

برای دیدن ریپوی دوره که فعلا یک نوتبوک ازش منتشر شده به لینک زیر مراجعه کنید:
لینک ریپوی دوره

مقایسه زمانی BPE Tokenizer روی دو کتابخونه Hugging Face Tokenizers و OpenAI TikToken روی ولیدیشن دیتاست تاینی‌استوریز:

dataset = load_dataset("roneneldan/TinyStories")
texts = dataset["validation"]["text"]

# Load the GPT-2 tokenizer for both libraries
tiktokenizer = tiktoken.get_encoding("gpt2")  # tiktoken
hf_tokenizer = Tokenizer.from_pretrained("gpt2")  # Hugging Face tokenizers

# Measure tiktoken speed
start_time = time.time()
tiktoken_results = [tiktokenizer.encode(text) for text in texts]
tiktoken_time = time.time() - start_time

# Measure tokenizers speed
start_time = time.time()
hf_results = [hf_tokenizer.encode(text).ids for text in texts]
hf_time = time.time() - start_time

# Print results
print(f"tiktoken Time: {tiktoken_time:.4f} seconds")
print(f"tokenizers Time: {hf_time:.4f} seconds")

tiktoken Time: 2.6481 seconds
tokenizers Time: 16.7744 seconds

این ده هزار ساعتی که آقای هنکل گفت، من رو یاد مصاحبه لکس فریدمن و آندره کارپاتی انداخت؛ آقای کارپاتی به ده هزار ساعت برای متخصص شدن در هوش مصنوعی اشاره کرده بود.

اون موقع که این ده هزار ساعت رو شنیدم، یکمی راجع بهش فکر و سرچ کردم. قانون کار میگه، ساعت موظفی کارگری 44 ساعت در هفته معادل 5.5 روز هست. اگه 40 ساعت در نظر بگیریم، ده هزار ساعت معادل با 250 هفته میشه. یک سال معادل با 56 هفته هست که فرض کنیم، فرد 50 هفته در سال کار کنه. بنابراین، ده هزار ساعت معادل با 5 سال میشه! عدد کمی نیست و میتونه معادل با دوره فشرده‌ای شامل مطالب کارشناسی+ارشد+دکترا باشه! عدد بزرگیه، ولی باید در نظر داشت که نتایج بعد از 5 سال ظاهر نمیشه. به نظرم، نتایج درخور توجه از پایان سال دوم شروع میشه.

وقتی درمورد ده هزار ساعت سرچ کردم، با وبلاگی مواجه شدم که می‌گفت ما آمریکایی‌ها قانونی بنام قانون ده هزار ساعت داریم. معتقدیم که با این میزان از زمان، میشه در هر زمینه‌ای متخصص شد. البته، این عدد قطعی نیست ولی ما آمریکایی‌ها عاشق تلاش کردیم و دوست داریم به این عدد فکر کنیم.

یادمه، صادق گودرزی که کشتی‌گیر خیلی خوبی هم بود، توی یک برنامه تلوزیونی مربوط به کشتی می‌گفت مقاله‌ای خونده که در اون نوشته با صرف 10 یا 12 هزار ساعت (دقیق یادم نمیاد)، میشه قهرمان المپیک شد.

خلاصه اینکه، درسته که تنظیم هایپرپارامترهای XGBoost مهمه، ولی این سخنان و دیدگاه بزرگان خیلی مهم‌تره.

150 کیلومتر طول کشید تا این دو تا پیام رو آماده کنم! 🫠

Mellum Goes Open Source (Focal Models)

Mellum doesn’t try to know everything.
It’s designed to do one thing really well: code completion.
We call it a focal model – built with purposeful depth and not concerned with chasing breadth.

But code completion is just the start.
Mellum will grow into a family of focal models, each specialized for different coding tasks – from code completion to diff prediction and beyond.

Mellum supports code completion for Java, Kotlin, Python, Go, PHP, C, C++, C#, JavaScript, TypeScript, CSS, HTML, Rust, Ruby.

Focal models return to that original principle: build models to excel in one area.

HuggingFace

Fast API 🔥
We take care of the rest 😎
You code. We cloud.

Join the waiting list ☕️

Blog Fastapicloud

برگی از تاریخ ... ۵۲ سال پیش
دانشگاه آریامهر (شریف)

درس هوش مصنوعی
نظریه اتوماتا (ماشین ها)

تیم ElevenLabs تا الان چند بار پکیج تخفیف برای سرویس‌های مختلف ارائه کرده که به تازگی نسخه چهارم هم منتشر شده. ابزارهای زیادی شامل تخفیف عالی شدن. مثل 50 دلار کردیت برای استفاده از modal (سرویس اجاره GPU) یا تخفیف 50 درصدی روی همه پلن‌های n8n و ...
https://www.aiengineerpack.com/

با تشکر از دوست خوبم، آرتین، برای اطلاع‌رسانی این جشنواره ❤️