حتما واستون سوال شده که بنچ مارک به چه چیزی اشاره داره؟
بنچمارک یا Benchmark کلمه ای انگلیسی است و در لغت به معنای « استاندارد یا نقطه مرجعی که سایر چیزها با آن سنجیده و مقایسه می شوند» است. Bench یعنی میز و نیمکت و Mark هم به معنی نمره و امتیاز است. بنچمارک به معنی نمره دادن به پدیده‌های مختلف روی میز دقیق آزمایشگاه است.
دیتاست بنچ مارک چیست؟
دیتاست بنچ مارک به مجموعه ای از داده که برای ارزیابی دو یا چند معماری، براساس شاخص هایشان گفته می شود. برای مثال، دیتاست MNIST برای معماری ResNet میزان دقت آن %99.16 ، DenseNet برابر 99.37% و CapsNet برابر 99.75% است که امکان ارزیابی فراهم می کند.
توجه: میزان دقت برای هر معماری در مطلب فوق برگرفته از مقاله "Assessing four Neural Networks on Handwritten Digit Recognition Dataset(MNIST)" است.
و همچنین به منظور آشنایی بیشتر با دیتاست های بنچ مارک در پردازش زبان طبیعی، نمونه های در دو عکس بالا آورده شده است.
@computationallinguisticsNLP
بنچمارک یا Benchmark کلمه ای انگلیسی است و در لغت به معنای « استاندارد یا نقطه مرجعی که سایر چیزها با آن سنجیده و مقایسه می شوند» است. Bench یعنی میز و نیمکت و Mark هم به معنی نمره و امتیاز است. بنچمارک به معنی نمره دادن به پدیده‌های مختلف روی میز دقیق آزمایشگاه است.
دیتاست بنچ مارک چیست؟
دیتاست بنچ مارک به مجموعه ای از داده که برای ارزیابی دو یا چند معماری، براساس شاخص هایشان گفته می شود. برای مثال، دیتاست MNIST برای معماری ResNet میزان دقت آن %99.16 ، DenseNet برابر 99.37% و CapsNet برابر 99.75% است که امکان ارزیابی فراهم می کند.
توجه: میزان دقت برای هر معماری در مطلب فوق برگرفته از مقاله "Assessing four Neural Networks on Handwritten Digit Recognition Dataset(MNIST)" است.
و همچنین به منظور آشنایی بیشتر با دیتاست های بنچ مارک در پردازش زبان طبیعی، نمونه های در دو عکس بالا آورده شده است.
@computationallinguisticsNLP
I'm attending Masterclass "AI in the classroom: tool or teacher?. Join me on January 15.
https://www.linkedin.com/events/masterclass-aiintheclassroom-to7280619316302024706
دوستان آقای دکتر قیومی لطف کردند و ما رو از این رویداد آگاه ساختند، اگر علاقمند هستید، می توونید شرکت کنید.
https://www.linkedin.com/events/masterclass-aiintheclassroom-to7280619316302024706
دوستان آقای دکتر قیومی لطف کردند و ما رو از این رویداد آگاه ساختند، اگر علاقمند هستید، می توونید شرکت کنید.
Linkedin
Masterclass "AI in the classroom: tool or teacher? | LinkedIn
📣 Calling all teachers and educators worldwide!
On the occasion of #EducationDay, @UNESCO is excited to invite teachers from all over the world to join our UNESCO Masterclass: "AI in the Classroom – Tool or Teacher?"
🗓️ Date: 15 January 2025
⏰ Time: 3…
On the occasion of #EducationDay, @UNESCO is excited to invite teachers from all over the world to join our UNESCO Masterclass: "AI in the Classroom – Tool or Teacher?"
🗓️ Date: 15 January 2025
⏰ Time: 3…
🐍 Python from Scratch
📚 ارائه شده توسط دانشگاه واترلو
اگر به دنبال یادگیری برنامه‌نویسی پایتون از پایه هستید، این دوره یکی از بهترین انتخاب‌هاست. دوره‌ای جامع که توسط دانشگاه واترلو طراحی شده و تمام مبانی مورد نیاز برای شروع برنامه‌نویسی به زبان پایتون را پوشش می‌دهد.
مباحث عبارت اند از:
0. Introduction
1. First steps
2. Built-in functions
3. Storing and using information
4. Creating functions
5. Booleans
6. Branching
7. Building better programs
8. Iteration using while
9. Storing elements in a sequence
10. Iteration using for
11. Bundling information into objects
12. Structuring data
13. Recursion
https://open.cs.uwaterloo.ca/python-from-scratch/
🎯 مناسب برای مبتدیان و حتی کسانی که می‌خواهند دانش خود را تقویت کنند!
@ComputationallinguisticsNLP
📚 ارائه شده توسط دانشگاه واترلو
اگر به دنبال یادگیری برنامه‌نویسی پایتون از پایه هستید، این دوره یکی از بهترین انتخاب‌هاست. دوره‌ای جامع که توسط دانشگاه واترلو طراحی شده و تمام مبانی مورد نیاز برای شروع برنامه‌نویسی به زبان پایتون را پوشش می‌دهد.
مباحث عبارت اند از:
0. Introduction
1. First steps
2. Built-in functions
3. Storing and using information
4. Creating functions
5. Booleans
6. Branching
7. Building better programs
8. Iteration using while
9. Storing elements in a sequence
10. Iteration using for
11. Bundling information into objects
12. Structuring data
13. Recursion
https://open.cs.uwaterloo.ca/python-from-scratch/
🎯 مناسب برای مبتدیان و حتی کسانی که می‌خواهند دانش خود را تقویت کنند!
@ComputationallinguisticsNLP
مدل جدید« مدرن برت» که جایگزین مدل Bert است در مقاله زیر معرفی شد. از جمله ویژگی های این مدل می توان به نکات زیر اشاره کرد.
ویژگی‌های ModernBERT:
افزایش ظرفیت و عملکرد:
افزایش طول پنجره متنی از 512 به 8000 توکن.
مناسب برای وظایف کدنویسی و جستجوی کد.
امتیازدهی بهتر در بنچمارک‌هایی مثل SQA و GLUE.
معماری بهینه:
استفاده از تکنیک‌های پیشرفته مانند روتاری جای‌گذاری موقعیتی (RoPE) برای پردازش متون بلند.
به‌کارگیری FlashAttention-2 برای کارایی بیشتر روی GPUهای پیشرفته.
ترکیب توجه محلی و جهانی برای مدیریت بهتر توالی‌های بلند.
اولین مدل انکودر با داده‌های آموزشی قابل توجه از کدهای برنامه‌نویسی.
کارایی بالا:
دو برابر سریع‌تر از DeBERTa و مصرف حافظه یک‌پنجم کمتر.
قابلیت اجرا روی سیستمهای معمولی (حداقل GPUبرای اجرا 4090)
ا ModernBERT در نسخه‌های Base (149 میلیون پارامتر) و Large (395 میلیون پارامتر) ارائه شده و به زودی به کتابخانه Transformers اضافه می‌شود.
مناسب‌تر برای وظایفی مانند بازیابی اطلاعات، طبقه‌بندی و استخراج.
▪️ Replacement for BERT: ModernBERT
▪️ Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference
@computationallinguisticsNLP
ویژگی‌های ModernBERT:
افزایش ظرفیت و عملکرد:
افزایش طول پنجره متنی از 512 به 8000 توکن.
مناسب برای وظایف کدنویسی و جستجوی کد.
امتیازدهی بهتر در بنچمارک‌هایی مثل SQA و GLUE.
معماری بهینه:
استفاده از تکنیک‌های پیشرفته مانند روتاری جای‌گذاری موقعیتی (RoPE) برای پردازش متون بلند.
به‌کارگیری FlashAttention-2 برای کارایی بیشتر روی GPUهای پیشرفته.
ترکیب توجه محلی و جهانی برای مدیریت بهتر توالی‌های بلند.
اولین مدل انکودر با داده‌های آموزشی قابل توجه از کدهای برنامه‌نویسی.
کارایی بالا:
دو برابر سریع‌تر از DeBERTa و مصرف حافظه یک‌پنجم کمتر.
قابلیت اجرا روی سیستمهای معمولی (حداقل GPUبرای اجرا 4090)
ا ModernBERT در نسخه‌های Base (149 میلیون پارامتر) و Large (395 میلیون پارامتر) ارائه شده و به زودی به کتابخانه Transformers اضافه می‌شود.
مناسب‌تر برای وظایفی مانند بازیابی اطلاعات، طبقه‌بندی و استخراج.
▪️ Replacement for BERT: ModernBERT
▪️ Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference
@computationallinguisticsNLP
huggingface.co
Finally, a Replacement for BERT: Introducing ModernBERT
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
این هم از مدل چینی هوش مصنوعی😅
🔹 استارتاپ چینی DeepSeek با معرفی مدل هوش مصنوعی جدید خود، R1، تحولی در بازار هوش مصنوعی ایجاد کرده است. این مدل با عملکردی مشابه مدل‌های پیشرفته غربی، اما با هزینه‌ای به‌مراتب کمتر توسعه یافته است. این دستاورد باعث کاهش ۱۲ درصدی ارزش سهام انویدیا و افت ۳۸۴ میلیارد دلاری ارزش بازار آن شده است.
🔸 مدل DeepSeek-R1 با ۶۷۱ میلیارد پارامتر، از معماری «ترکیب متخصصان» (Mixture of Experts) بهره می‌برد که در آن تنها ۳۷ میلیارد پارامتر در هر پردازش فعال می‌شوند. این رویکرد منجر به کاهش قابل‌توجهی در مصرف منابع محاسباتی و افزایش کارایی مدل شده است.
این مدل با استفاده از تنها ۲,۰۰۰ واحد پردازش گرافیکی (GPU) انویدیا، مدل خود را آموزش داده است؛ در حالی که مدل‌های مشابه به حدود ۱۶,۰۰۰ GPU نیاز دارند. این کارایی بالا و هزینه پایین، نگرانی‌هایی را در مورد آینده سرمایه‌گذاری‌های شرکت‌هایی مانند مایکروسافت و گوگل در حوزه هوش مصنوعی برانگیخته است.
🔹 مدل DeepSeek-R1 با استفاده از یادگیری تقویتی (Reinforcement Learning) و بدون نیاز به تنظیمات نظارت‌شده (Supervised Fine-Tuning)، توانسته است در بنچمارک‌های مختلفی مانند AIME و MATH-500 عملکردی بهتر یا مشابه با مدل o1 از OpenAI ارائه دهد. این مدل در تست‌های ریاضی AIME امتیاز ۷۹.۸ درصد و در MATH-500 امتیاز ۹۷.۳ درصد را کسب کرده است.
@computationallinguisticsNLP
GIT
Source: barrons - theverge - wikipedia
🔹 استارتاپ چینی DeepSeek با معرفی مدل هوش مصنوعی جدید خود، R1، تحولی در بازار هوش مصنوعی ایجاد کرده است. این مدل با عملکردی مشابه مدل‌های پیشرفته غربی، اما با هزینه‌ای به‌مراتب کمتر توسعه یافته است. این دستاورد باعث کاهش ۱۲ درصدی ارزش سهام انویدیا و افت ۳۸۴ میلیارد دلاری ارزش بازار آن شده است.
🔸 مدل DeepSeek-R1 با ۶۷۱ میلیارد پارامتر، از معماری «ترکیب متخصصان» (Mixture of Experts) بهره می‌برد که در آن تنها ۳۷ میلیارد پارامتر در هر پردازش فعال می‌شوند. این رویکرد منجر به کاهش قابل‌توجهی در مصرف منابع محاسباتی و افزایش کارایی مدل شده است.
این مدل با استفاده از تنها ۲,۰۰۰ واحد پردازش گرافیکی (GPU) انویدیا، مدل خود را آموزش داده است؛ در حالی که مدل‌های مشابه به حدود ۱۶,۰۰۰ GPU نیاز دارند. این کارایی بالا و هزینه پایین، نگرانی‌هایی را در مورد آینده سرمایه‌گذاری‌های شرکت‌هایی مانند مایکروسافت و گوگل در حوزه هوش مصنوعی برانگیخته است.
🔹 مدل DeepSeek-R1 با استفاده از یادگیری تقویتی (Reinforcement Learning) و بدون نیاز به تنظیمات نظارت‌شده (Supervised Fine-Tuning)، توانسته است در بنچمارک‌های مختلفی مانند AIME و MATH-500 عملکردی بهتر یا مشابه با مدل o1 از OpenAI ارائه دهد. این مدل در تست‌های ریاضی AIME امتیاز ۷۹.۸ درصد و در MATH-500 امتیاز ۹۷.۳ درصد را کسب کرده است.
@computationallinguisticsNLP
GIT
Source: barrons - theverge - wikipedia
GitHub
GitHub - deepseek-ai/DeepSeek-R1
Contribute to deepseek-ai/DeepSeek-R1 development by creating an account on GitHub.
خب در این پست، به تفاوت بین تریـن (Training)، فاین تیـون (Fine-Tuning)، و تیون (Tuning) در هوش مصنوعی می پردازیم، البته مطلب کمی زیاده ولی ارزش خووندن داره بوخودا،🙃
1. ترین (Training): یادگیری اولیه مدل
تعریف:
ترین یا آموزش اولیه به فرآیندی اشاره دارد که در آن مدل هوش مصنوعی برای اولین بار داده‌های خام را پردازش می‌کند و با استفاده از آن‌ها پارامترهای خود را یاد می‌گیرد. در این مرحله، مدل از ابتدا ساخته می‌شود و بدون داشتن دانش قبلی، از داده‌ها الگوهای اولیه را استخراج می‌کند.
مراحل:
۱. انتخاب داده‌ها: جمع‌آوری داده‌های بزرگ و متنوع که بتواند مدل را برای حل مسئله خاص آماده کند.
۲. تعریف معماری مدل: انتخاب ساختار شبکه عصبی یا مدل مناسب.
۳. آموزش مدل: استفاده از الگوریتم‌های یادگیری مانند گرادیان نزولی برای به‌روزرسانی پارامترها.
مزایا:
– کنترل کامل روی فرآیند.
– امکان استفاده از داده‌های سفارشی برای مسائل خاص.
– انعطاف‌پذیری بالا برای ساخت مدل از ابتدا.
مثال:
یک مدل برای تشخیص تصاویر گربه و سگ از ابتدا با استفاده از داده‌های برچسب‌دار، آموزش داده می‌شود. داده‌ها شامل تصاویر گربه‌ها و سگ‌هاست که با الگوریتم‌های یادگیری عمیق، مدل تفاوت این دو را یاد می‌گیرد.
2. فاین تیون (Fine-Tuning): بهینه‌سازی مدل پیش‌آموزش دیده
تعریف:
فاین تیون به فرآیندی اشاره دارد که در آن یک مدل از پیش آموزش‌دیده (Pretrained) برای یک وظیفه خاص بهینه‌سازی می‌شود. این فرآیند زمانی به‌کار می‌رود که بخواهیم از دانشی که مدل از داده‌های گسترده قبلی کسب کرده است، برای مسئله‌ای جدید بهره ببریم.
ریاضیات پایه هوش مصنوعی
ادامه مطلب
مراحل:
1. استفاده از مدل‌های پیش‌آموزش دیده (مانند BERT، GPT یا ResNet).
۲. تغییر وزن‌ها و پارامترهای مدل بر اساس داده‌های جدید.
۳. آموزش محدود روی مجموعه داده‌های کوچک‌تر و خاص‌تر.
مزایا:
– صرفه‌جویی در زمان و منابع محاسباتی.
– بهبود عملکرد روی داده‌های خاص.
– کاهش نیاز به داده‌های بزرگ برای آموزش.
مثال:
فرض کنید مدلی مانند BERT که برای پردازش زبان طبیعی (NLP) آموزش داده شده است، برای تحلیل احساسات (Sentiment Analysis) بهینه‌سازی شود. در اینجا از داده‌های برچسب‌دار مربوط به احساسات (مثبت یا منفی) استفاده می‌کنیم.
3. تیون (Tuning): تنظیم هایپرپارامترها
تعریف:
تیون به فرآیندی اشاره دارد که در آن هایپرپارامترهای مدل تنظیم می‌شوند تا بهترین عملکرد حاصل شود. هایپرپارامترها، پارامترهایی هستند که قبل از آموزش مدل تعریف می‌شوند و در طول آموزش تغییر نمی‌کنند (مانند نرخ یادگیری، تعداد نرون‌ها در هر لایه، یا تعداد لایه‌ها).
مراحل:
۱. تعریف محدوده مقادیر ممکن برای هایپرپارامترها.
۲. استفاده از تکنیک‌هایی مانند Grid Search یا Random Search برای پیدا کردن بهترین تنظیم.
۳. ارزیابی مدل با داده‌های اعتبارسنجی.
مزایا:
– بهبود عملکرد مدل بدون تغییر معماری یا داده.
– کاهش احتمال بیش‌برازش (Overfitting) یا کم‌برازش (Underfitting).
– افزایش سرعت همگرایی مدل.
مثال:
در آموزش یک شبکه عصبی عمیق، با تغییر مقدار نرخ یادگیری (Learning Rate)، ممکن است مدل سریع‌تر به نتایج بهینه برسد. برای این کار، مقادیر مختلفی مثل 0.001، 0.01 و 0.1 را تست می‌کنیم.
@computationallinguisticsNLP
1. ترین (Training): یادگیری اولیه مدل
تعریف:
ترین یا آموزش اولیه به فرآیندی اشاره دارد که در آن مدل هوش مصنوعی برای اولین بار داده‌های خام را پردازش می‌کند و با استفاده از آن‌ها پارامترهای خود را یاد می‌گیرد. در این مرحله، مدل از ابتدا ساخته می‌شود و بدون داشتن دانش قبلی، از داده‌ها الگوهای اولیه را استخراج می‌کند.
مراحل:
۱. انتخاب داده‌ها: جمع‌آوری داده‌های بزرگ و متنوع که بتواند مدل را برای حل مسئله خاص آماده کند.
۲. تعریف معماری مدل: انتخاب ساختار شبکه عصبی یا مدل مناسب.
۳. آموزش مدل: استفاده از الگوریتم‌های یادگیری مانند گرادیان نزولی برای به‌روزرسانی پارامترها.
مزایا:
– کنترل کامل روی فرآیند.
– امکان استفاده از داده‌های سفارشی برای مسائل خاص.
– انعطاف‌پذیری بالا برای ساخت مدل از ابتدا.
مثال:
یک مدل برای تشخیص تصاویر گربه و سگ از ابتدا با استفاده از داده‌های برچسب‌دار، آموزش داده می‌شود. داده‌ها شامل تصاویر گربه‌ها و سگ‌هاست که با الگوریتم‌های یادگیری عمیق، مدل تفاوت این دو را یاد می‌گیرد.
2. فاین تیون (Fine-Tuning): بهینه‌سازی مدل پیش‌آموزش دیده
تعریف:
فاین تیون به فرآیندی اشاره دارد که در آن یک مدل از پیش آموزش‌دیده (Pretrained) برای یک وظیفه خاص بهینه‌سازی می‌شود. این فرآیند زمانی به‌کار می‌رود که بخواهیم از دانشی که مدل از داده‌های گسترده قبلی کسب کرده است، برای مسئله‌ای جدید بهره ببریم.
ریاضیات پایه هوش مصنوعی
ادامه مطلب
مراحل:
1. استفاده از مدل‌های پیش‌آموزش دیده (مانند BERT، GPT یا ResNet).
۲. تغییر وزن‌ها و پارامترهای مدل بر اساس داده‌های جدید.
۳. آموزش محدود روی مجموعه داده‌های کوچک‌تر و خاص‌تر.
مزایا:
– صرفه‌جویی در زمان و منابع محاسباتی.
– بهبود عملکرد روی داده‌های خاص.
– کاهش نیاز به داده‌های بزرگ برای آموزش.
مثال:
فرض کنید مدلی مانند BERT که برای پردازش زبان طبیعی (NLP) آموزش داده شده است، برای تحلیل احساسات (Sentiment Analysis) بهینه‌سازی شود. در اینجا از داده‌های برچسب‌دار مربوط به احساسات (مثبت یا منفی) استفاده می‌کنیم.
3. تیون (Tuning): تنظیم هایپرپارامترها
تعریف:
تیون به فرآیندی اشاره دارد که در آن هایپرپارامترهای مدل تنظیم می‌شوند تا بهترین عملکرد حاصل شود. هایپرپارامترها، پارامترهایی هستند که قبل از آموزش مدل تعریف می‌شوند و در طول آموزش تغییر نمی‌کنند (مانند نرخ یادگیری، تعداد نرون‌ها در هر لایه، یا تعداد لایه‌ها).
مراحل:
۱. تعریف محدوده مقادیر ممکن برای هایپرپارامترها.
۲. استفاده از تکنیک‌هایی مانند Grid Search یا Random Search برای پیدا کردن بهترین تنظیم.
۳. ارزیابی مدل با داده‌های اعتبارسنجی.
مزایا:
– بهبود عملکرد مدل بدون تغییر معماری یا داده.
– کاهش احتمال بیش‌برازش (Overfitting) یا کم‌برازش (Underfitting).
– افزایش سرعت همگرایی مدل.
مثال:
در آموزش یک شبکه عصبی عمیق، با تغییر مقدار نرخ یادگیری (Learning Rate)، ممکن است مدل سریع‌تر به نتایج بهینه برسد. برای این کار، مقادیر مختلفی مثل 0.001، 0.01 و 0.1 را تست می‌کنیم.
@computationallinguisticsNLP
ابزار تشخیص اعتبار سایت ها
اگر همیشه استرس اینو داشتید که یه سایت کلاهبرداریه یا نه، سایت زیر این کار رو واستون انجام میده🙃:
scamminder.com
فقط کافیه لینک سایت رو بهش بدید تا بگه معتبره یا نه
@computationallinguistics
اگر همیشه استرس اینو داشتید که یه سایت کلاهبرداریه یا نه، سایت زیر این کار رو واستون انجام میده🙃:
scamminder.com
فقط کافیه لینک سایت رو بهش بدید تا بگه معتبره یا نه
@computationallinguistics
This media is not supported in your browser
VIEW IN TELEGRAM
معرفی موتور جست‌وجوی یوتیوب🖥
هوش مصنوعی Remy در واقع یه چت‌باته که همه ویدئوهای یوتیوب رو دیده
اگه دنبال یه بخشی از یک فیلم هستی
یه چیزایی از یه ویدیو یادته ولی دقیق نمیدونی
حتی میتونی با جستجوی معنایی به ویدیوت برسی
از طریق سایت زیر میتونی ازش استفاده کنی:
useremy.com
@computationallinguistics
هوش مصنوعی Remy در واقع یه چت‌باته که همه ویدئوهای یوتیوب رو دیده
اگه دنبال یه بخشی از یک فیلم هستی
یه چیزایی از یه ویدیو یادته ولی دقیق نمیدونی
حتی میتونی با جستجوی معنایی به ویدیوت برسی
از طریق سایت زیر میتونی ازش استفاده کنی:
useremy.com
@computationallinguistics
فرآیند Pre-Training
۱. جمع‌آوری داده‌های بزرگ و متنوع:
داده‌ها باید گسترده و شامل اطلاعاتی باشند که برای کاربردهای مختلف قابل استفاده باشند.
– مثال: متن‌های عمومی مانند ویکی‌پدیا، تصاویر از اینترنت.
۲. تعریف معماری مدل:
انتخاب مدل‌هایی مانند BERT، GPT، ResNet یا Vision Transformers (ViTs).
۳. آموزش مدل روی داده‌ها:
– استفاده از روش‌های یادگیری بدون نظارت (مانند پیش‌بینی کلمه بعدی در NLP یا پیش‌بینی بخش‌های پنهان تصویر).
– استخراج ویژگی‌های عمومی از داده‌ها.
مزایای Pre-Training
۱. صرفه‌جویی در منابع:
مدل از ابتدا نیاز به آموزش کامل روی داده‌های تخصصی ندارد.
2. قابلیت انتقال یادگیری (Transfer Learning):
دانش مدل می‌تواند به وظایف دیگر منتقل شود و در زمان و داده صرفه‌جویی کند.
۳. پوشش بهتر داده‌های متنوع:
مدل‌های پیش‌آموزش‌دیده معمولاً ویژگی‌های عمومی‌تر و قوی‌تری را از داده استخراج می‌کنند.
۴. مقیاس‌پذیری:
پیش‌آموزش به توسعه مدل‌های بزرگ‌تر و قوی‌تر کمک می‌کند که می‌توانند برای وظایف متنوع استفاده شوند.
کاربردهای Pre-Training
1. پردازش زبان طبیعی (NLP):
– مدل‌های BERT و GPT ابتدا روی مجموعه داده‌های متنی بزرگ مانند ویکی‌پدیا و کتاب‌ها پیش‌آموزش داده می‌شوند.
– این مدل‌ها سپس برای وظایفی مانند ترجمه، تحلیل احساسات یا دسته‌بندی متن بهینه می‌شوند.
۱۰ فریمورک برتر یادگیری عمیق در سال ۲۰۲۲
ادامه مطلب
2. بینایی کامپیوتر (Computer Vision):
– مدل‌های ResNet یا Vision Transformers ابتدا روی مجموعه داده‌هایی مانند ImageNet آموزش داده می‌شوند.
– از این مدل‌ها برای کاربردهای خاص مانند تشخیص چهره یا شناسایی بیماری در تصاویر پزشکی استفاده می‌شود.
3. مدل‌های چندوجهی (Multimodal Models):
– مدل‌هایی مانند CLIP که همزمان روی داده‌های تصویر و متن پیش‌آموزش می‌بینند.
– این مدل‌ها برای وظایف مانند جستجوی مبتنی بر تصویر/متن یا توصیف تصویر استفاده می‌شوند.
مثال Pre-Training در دنیای واقعی
– GPT (Generative Pre-trained Transformer):
– مدل‌های سری GPT توسط OpenAI روی مجموعه‌های متنی بزرگ مثل کتاب‌ها و ویکی‌پدیا پیش‌آموزش داده می‌شوند.
– پس از پیش‌آموزش، مدل‌ها می‌توانند با فاین تیون برای وظایف خاصی مانند چت‌بات‌ها، تولید محتوا یا ترجمه بهینه شوند.
– BERT (Bidirectional Encoder Representations from Transformers):
– پیش‌آموزش این مدل شامل یادگیری ارتباط بین کلمات و جملات در یک متن است.
– سپس برای وظایفی مانند پاسخ‌گویی به سوال یا دسته‌بندی متن استفاده می‌شود.
@computationallinguisticsNLP
۱. جمع‌آوری داده‌های بزرگ و متنوع:
داده‌ها باید گسترده و شامل اطلاعاتی باشند که برای کاربردهای مختلف قابل استفاده باشند.
– مثال: متن‌های عمومی مانند ویکی‌پدیا، تصاویر از اینترنت.
۲. تعریف معماری مدل:
انتخاب مدل‌هایی مانند BERT، GPT، ResNet یا Vision Transformers (ViTs).
۳. آموزش مدل روی داده‌ها:
– استفاده از روش‌های یادگیری بدون نظارت (مانند پیش‌بینی کلمه بعدی در NLP یا پیش‌بینی بخش‌های پنهان تصویر).
– استخراج ویژگی‌های عمومی از داده‌ها.
مزایای Pre-Training
۱. صرفه‌جویی در منابع:
مدل از ابتدا نیاز به آموزش کامل روی داده‌های تخصصی ندارد.
2. قابلیت انتقال یادگیری (Transfer Learning):
دانش مدل می‌تواند به وظایف دیگر منتقل شود و در زمان و داده صرفه‌جویی کند.
۳. پوشش بهتر داده‌های متنوع:
مدل‌های پیش‌آموزش‌دیده معمولاً ویژگی‌های عمومی‌تر و قوی‌تری را از داده استخراج می‌کنند.
۴. مقیاس‌پذیری:
پیش‌آموزش به توسعه مدل‌های بزرگ‌تر و قوی‌تر کمک می‌کند که می‌توانند برای وظایف متنوع استفاده شوند.
کاربردهای Pre-Training
1. پردازش زبان طبیعی (NLP):
– مدل‌های BERT و GPT ابتدا روی مجموعه داده‌های متنی بزرگ مانند ویکی‌پدیا و کتاب‌ها پیش‌آموزش داده می‌شوند.
– این مدل‌ها سپس برای وظایفی مانند ترجمه، تحلیل احساسات یا دسته‌بندی متن بهینه می‌شوند.
۱۰ فریمورک برتر یادگیری عمیق در سال ۲۰۲۲
ادامه مطلب
2. بینایی کامپیوتر (Computer Vision):
– مدل‌های ResNet یا Vision Transformers ابتدا روی مجموعه داده‌هایی مانند ImageNet آموزش داده می‌شوند.
– از این مدل‌ها برای کاربردهای خاص مانند تشخیص چهره یا شناسایی بیماری در تصاویر پزشکی استفاده می‌شود.
3. مدل‌های چندوجهی (Multimodal Models):
– مدل‌هایی مانند CLIP که همزمان روی داده‌های تصویر و متن پیش‌آموزش می‌بینند.
– این مدل‌ها برای وظایف مانند جستجوی مبتنی بر تصویر/متن یا توصیف تصویر استفاده می‌شوند.
مثال Pre-Training در دنیای واقعی
– GPT (Generative Pre-trained Transformer):
– مدل‌های سری GPT توسط OpenAI روی مجموعه‌های متنی بزرگ مثل کتاب‌ها و ویکی‌پدیا پیش‌آموزش داده می‌شوند.
– پس از پیش‌آموزش، مدل‌ها می‌توانند با فاین تیون برای وظایف خاصی مانند چت‌بات‌ها، تولید محتوا یا ترجمه بهینه شوند.
– BERT (Bidirectional Encoder Representations from Transformers):
– پیش‌آموزش این مدل شامل یادگیری ارتباط بین کلمات و جملات در یک متن است.
– سپس برای وظایفی مانند پاسخ‌گویی به سوال یا دسته‌بندی متن استفاده می‌شود.
@computationallinguisticsNLP
Chatgpt
A conversational AI system that listens, learns, and challenges
5 Free NLP Courses I'd Recommend For 2025, Top Picks
https://pwskills.com/blog/5-free-nlp-courses-id-recommend-for-2025-top-picks/
@computationallinguisticsNLP
https://pwskills.com/blog/5-free-nlp-courses-id-recommend-for-2025-top-picks/
@computationallinguisticsNLP
PW Skills Blog
5 Free NLP Courses I'd Recommend For 2025, Top Picks
Learn Natural Language Processing with free NLP courses available on many platforms. Get advanced tutorials, hands-on practical learning, exercises, real world objects, and more in these free courses. Let us learn some of the best courses about free NLP courses.
تبریک به زنان و دخترانی که پا به پای مردان در جوامع علمی فعالیت می کنند.😍🌷
@computationallinguisticsNLP
@computationallinguisticsNLP
جداسازی صدای خواننده و موزیک🎶
سایت زیر در جهت جداسازی صدای خواننده از موسیقی خام طراحی شده است. می توونید هر آهنگی که دوست دارید رو به سایت زیر بدید تا موزیک خام رو بهتون تحویل بده و خودتون صدا روش بزارید
vocalremover.org
@computationallinguisticsNLP
سایت زیر در جهت جداسازی صدای خواننده از موسیقی خام طراحی شده است. می توونید هر آهنگی که دوست دارید رو به سایت زیر بدید تا موزیک خام رو بهتون تحویل بده و خودتون صدا روش بزارید
vocalremover.org
@computationallinguisticsNLP
This media is not supported in your browser
VIEW IN TELEGRAM
نظرات جالبه ایلان ماسک🙃
Forwarded from متن به گفتار فارسی
This media is not supported in your browser
VIEW IN TELEGRAM
🎤✨مدل Zonos - یک مدل متن به گفتار پیشرفته!
با بیش از 200,000 ساعت داده گفتاری چندزبانه، Zonos گفتار با کیفیت بالا و بیان طبیعی تولید می‌کند.
پشتیبانی از زبان‌های مختلف، کنترل دقیق بر پارامترهای صوتی و اجرای سریع، این مدل را به ابزاری قدرتمند تبدیل کرده است!
🔰 فعلن از فارسی پشتیبانی نمی کنه ولی بنظر میاد در نسخه ۲ زبان های بیشتری اضافه بشن.
میتونید از این issue حمایت کنید تا انشاالله فارسی رو هم اضافه کنن.
برای اطلاعات بیشتر و نصب، به لینک زیر مراجعه کنید:
https://github.com/Zyphra/Zonos
🤗 : https://huggingface.co/spaces/Steveeeeeeen/Zonos
@persian_tts
با بیش از 200,000 ساعت داده گفتاری چندزبانه، Zonos گفتار با کیفیت بالا و بیان طبیعی تولید می‌کند.
پشتیبانی از زبان‌های مختلف، کنترل دقیق بر پارامترهای صوتی و اجرای سریع، این مدل را به ابزاری قدرتمند تبدیل کرده است!
🔰 فعلن از فارسی پشتیبانی نمی کنه ولی بنظر میاد در نسخه ۲ زبان های بیشتری اضافه بشن.
میتونید از این issue حمایت کنید تا انشاالله فارسی رو هم اضافه کنن.
برای اطلاعات بیشتر و نصب، به لینک زیر مراجعه کنید:
https://github.com/Zyphra/Zonos
🤗 : https://huggingface.co/spaces/Steveeeeeeen/Zonos
@persian_tts
ساخت تصاویر خلاقانه با هوش مصنوعی
http://visualelectric.com/inspo
ویژوال الکتریک به شما کمک می کند، با استفاده از هوش مصنوعی تصاویر خلاقانه ای بسازید.
@computationallinguisiticsNLP
http://visualelectric.com/inspo
ویژوال الکتریک به شما کمک می کند، با استفاده از هوش مصنوعی تصاویر خلاقانه ای بسازید.
@computationallinguisiticsNLP
*فرصت همکاری برای علاقه‌مندان حوزه تحلیل داده *
🇮🇷 یک مرکز ملی در زمینه های زیر، دعوت به همکاری کاری می نماید:
*✳️ 1. تحلیلگر داده *
رشته تحصیلی: مهندسی کامپیوتر، مهندسی برق، علوم کامپیوتر
نیازمندی ها:
🔸تسلط به زبان پایتون
🔸آشنایی با مدل‌های یادگیری ماشین و شبکه‌های عصبی (transformers, BERT)
🔸آشنایی با حوزه تحلیل متن (NLP)
*✳️ 2. کارشناس مصورسازی داده‌ها و Power BI*
رشته تحصیلی: مهندسی کامپیوتر، مهندسی برق، مهندسی صنایع
نیازمندی ها:
🔸تسلط کامل به Power BI و ابزارهای مرتبط
🔸مهارت در پاک‌سازی و پیش‌پردازش داده‌ها با استفاده از SQL و Excel
🔸آشنایی با مفاهیم طراحی بصری و اصول مصورسازی داده‌ها
🔸تجربه کار با پایگاه‌های داده و ETL مانند SSIS
*✳️ 3. متخصص وب کراولینگ (Web Crawling Specialist)*
رشته تحصیلی: مهندسی کامپیوتر، مهندسی برق، مهندسی صنایع
نیازمندی ها:
🔸تسلط به زبان پایتون
🔸تجربه در ابزارهای کراولینگ مانند Scrapy، BeautifulSoup یا Selenium
🔸توانایی کار با پایگاه‌های داده مانند MySQL، MongoDB و Elasticsearch
🔸توانایی مدیریت سرورهای کراولینگ و جلوگیری از بلاک شدن IP
*✳️ 4. کارشناس DevOps*
رشته تحصیلی: مهندسی کامپیوتر، مهندسی برق
نیازمندی ها:
🔸سابقه فعالیت در زمینه راه‌اندازی و نگهداری سرورهای هوش مصنوعی
🔸آشنایی با مبانی شبکه
🔸آشنایی با مدیریت کانتینرها (Docker) و ارکستریشن (Kubernetes)
🔸مهارت در مدیریت سیستم‌عامل‌های لینوکس و اسکریپت‌نویسی (Bash)
*مزایا: *
🌟 حقوق رقابتی، عیدی و پاداش عملکرد
🌟 محیط کاری پویا و دوستانه
🌟 فرصت یادگیری و رشد حرفه‌ای
🌟 ناهار و پذیرایی در محل کار
🌟 بیمه و مزایای رفاهی و درمانی
🌟فرصت امریه و سربازی
راه ارتباطی:
🆔 @dangerous_seif
@computationallinguisticsNLP
🇮🇷 یک مرکز ملی در زمینه های زیر، دعوت به همکاری کاری می نماید:
*✳️ 1. تحلیلگر داده *
رشته تحصیلی: مهندسی کامپیوتر، مهندسی برق، علوم کامپیوتر
نیازمندی ها:
🔸تسلط به زبان پایتون
🔸آشنایی با مدل‌های یادگیری ماشین و شبکه‌های عصبی (transformers, BERT)
🔸آشنایی با حوزه تحلیل متن (NLP)
*✳️ 2. کارشناس مصورسازی داده‌ها و Power BI*
رشته تحصیلی: مهندسی کامپیوتر، مهندسی برق، مهندسی صنایع
نیازمندی ها:
🔸تسلط کامل به Power BI و ابزارهای مرتبط
🔸مهارت در پاک‌سازی و پیش‌پردازش داده‌ها با استفاده از SQL و Excel
🔸آشنایی با مفاهیم طراحی بصری و اصول مصورسازی داده‌ها
🔸تجربه کار با پایگاه‌های داده و ETL مانند SSIS
*✳️ 3. متخصص وب کراولینگ (Web Crawling Specialist)*
رشته تحصیلی: مهندسی کامپیوتر، مهندسی برق، مهندسی صنایع
نیازمندی ها:
🔸تسلط به زبان پایتون
🔸تجربه در ابزارهای کراولینگ مانند Scrapy، BeautifulSoup یا Selenium
🔸توانایی کار با پایگاه‌های داده مانند MySQL، MongoDB و Elasticsearch
🔸توانایی مدیریت سرورهای کراولینگ و جلوگیری از بلاک شدن IP
*✳️ 4. کارشناس DevOps*
رشته تحصیلی: مهندسی کامپیوتر، مهندسی برق
نیازمندی ها:
🔸سابقه فعالیت در زمینه راه‌اندازی و نگهداری سرورهای هوش مصنوعی
🔸آشنایی با مبانی شبکه
🔸آشنایی با مدیریت کانتینرها (Docker) و ارکستریشن (Kubernetes)
🔸مهارت در مدیریت سیستم‌عامل‌های لینوکس و اسکریپت‌نویسی (Bash)
*مزایا: *
🌟 حقوق رقابتی، عیدی و پاداش عملکرد
🌟 محیط کاری پویا و دوستانه
🌟 فرصت یادگیری و رشد حرفه‌ای
🌟 ناهار و پذیرایی در محل کار
🌟 بیمه و مزایای رفاهی و درمانی
🌟فرصت امریه و سربازی
راه ارتباطی:
🆔 @dangerous_seif
@computationallinguisticsNLP
Media is too big
VIEW IN TELEGRAM
توضیحات بسیار عالی مهندس اخوان پور در مورد مفاهیم Recall,Precision, F-measure
@computationallinguisticsNLP
@computationallinguisticsNLP
This media is not supported in your browser
VIEW IN TELEGRAM
Grok 3 هوش مصنوعی
و این حالت عجیبش که بهش میگن unhinged یعنی ناپایدار از نظر سلامت روان😅
هیچی دیگه، خودتون ببینید چه شکلیه😅
@computationallinguisticsNLP
و این حالت عجیبش که بهش میگن unhinged یعنی ناپایدار از نظر سلامت روان😅
هیچی دیگه، خودتون ببینید چه شکلیه😅
@computationallinguisticsNLP
The next meeting of the Edge Hill Corpus Research Group will take place online (MS Teams) on Friday 7 March 2025, 3:15-4:30 pm (GMT).
Topic: LLMs
Speaker: Yannis Korkontzelos (Edge Hill University, UK)
Title: Detecting Text generated by Large Language Models: A Novel Statistical Technique to address Paraphrasing
The abstract and registration link are here: https://sites.edgehill.ac.uk/crg/next
Attendance is free. Registration closes on Thursday 6 March.
@computationallinguisticsNLP
Topic: LLMs
Speaker: Yannis Korkontzelos (Edge Hill University, UK)
Title: Detecting Text generated by Large Language Models: A Novel Statistical Technique to address Paraphrasing
The abstract and registration link are here: https://sites.edgehill.ac.uk/crg/next
Attendance is free. Registration closes on Thursday 6 March.
@computationallinguisticsNLP
Edge Hill Corpus Research Group
Next meeting | Corpus Research Group | Edge Hill University
Find more information about the Edge Hill Corpus Research Group's (EHU CRG) next meeting, and how you can attend.