🧬 شناسایی محتوای تولید شده توسط هوش‌مصنوعی با واترمارکینگ: سلاح جدید در مبارزه با اطلاعات نادرست و تهدیدات بیولوژیکی

○ ​​این مقاله به بررسی روش‌های واترمارکینگ در متون و پروتئین‌های تولیدشده توسط هوش مصنوعی می‌پردازد. این تکنیک‌ها با هدف مقابله با انتشار اطلاعات نادرست و تهدیدات بیوتروریسم توسعه یافته‌اند و برای شناسایی مالکیت و اصالت محتوا به کار می‌روند.

○ ​​در حوزه متون تولیدشده توسط هوش مصنوعی، روش‌هایی مانند «SynthText-ID» معرفی شده‌اند که با تغییر در فرآیند انتخاب کلمات، امکان شناسایی متون تولیدشده توسط مدل‌های زبانی بزرگ را فراهم می‌کنند. این روش‌ها بدون نیاز به تغییر در فرآیند آموزش مدل‌ها، در مرحله تولید متن اعمال می‌شوند.

○ ​​در زمینه طراحی پروتئین‌های مصنوعی، تیمی از دانشگاه مریلند روش‌هایی را پیشنهاد داده‌اند که با اعمال تغییرات در ساختار پروتئین‌های مصنوعی، امکان شناسایی آن‌ها را فراهم می‌کند.

○ واترمارکینگ و توسعه روش‌های مؤثر در این زمینه می‌تواند به بهبود امنیت و اعتماد در محتوای دیجیتال کمک کند.

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

🔍 هوش‌مصنوعی همه کاره برای دانشجویان و پژوهشگران

● با SciSpace قادر به انجام چه کارهایی خواهید بود؟
○ هوش‌مصنوعی برای گفتگو با فایل‌های PDF
○ دسترسی به ۲۸۵ میلیون مقاله
○ توانایی نگارش و گسترش نوشته‌های شما
○ بررسی و مرور آسان‌تر متون و منابع علمی
○ ارائه Citation
○ تحلیل محتوا با هوش‌مصنوعی
○ و...

🔗 لینک دسترسی

#کاربردی #SciSpace

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

🤖 شخصی‌سازی مدل‌های زبانی بزرگ: رویکردی نوین در هوش مصنوعی

● در مقاله‌ای جامع، مفهوم شخصی‌سازی مدل‌های زبانی بزرگ (LLMs) به طور مفصل بررسی شده است. این مقاله به معرفی یک طبقه‌بندی جدید برای استفاده از LLMهای شخصی‌سازی‌شده می‌پردازد و چالش‌ها و فرصت‌های این حوزه را تحلیل می‌کند.

● دو رویکرد شخصی‌سازی: شامل تولید متن شخصی‌سازی‌شده و استفاده از LLMها در وظایف پایین‌دستی مثل سیستم‌های توصیه‌گر.

● سطوح مختلف شخصی‌سازی:
○ کاربر: شخصی‌سازی برای هر فرد بر اساس داده‌های خاص او.
○ شخصیت (Persona): تطبیق مدل برای گروه‌هایی از کاربران که ویژگی‌های مشابهی دارند.
○ ترجیحات عمومی: تنظیم مدل برای هماهنگی با ترجیحات کلی کاربران، مثل رعایت هنجارهای اجتماعی.

● چالش‌ها: شامل مشکل داده‌های کم‌کاربر (Cold-start)، حریم خصوصی و تعصبات مدل‌ها.

🎯 هدف اصلی این مقاله، یکپارچه‌سازی و ایجاد بستری برای پژوهش‌های آتی در حوزه LLMهای شخصی‌سازی‌شده است.

#مقاله #LLM #شخصی_سازی

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

​​🔍 مقایسه مدل‌های Llama:

● ​​در سال ۲۰۲۴، Meta با انتشار مدل‌های Llama با نسخه‌های ۳، ۳.۱ و ۳.۲ تحولات چشمگیری را نشان داده است.​​ ​​هر یک از این نسخه‌ها با بهبودها و قابلیت‌های منحصر به فرد خود، نحوه تعامل ما با هوش مصنوعی را ارتقا داده‌اند.​​

○ مدل ​​Llama3: این نسخه با افزایش پارامترها و بهبود درک زبان، عملکرد بهتری در وظایف مختلف مانند ترجمه و تولید متن ارائه می‌دهد.​​
○ مدل ​​Llama3.1: با تمرکز بر بهینه‌سازی و کاهش مصرف منابع، این نسخه برای کاربردهای متنوع و محیط‌های محدودتر مناسب‌تر است.​​
○ مدل ​​Llama3.2: با افزودن قابلیت‌های چندزبانه و بهبود درک زمینه، این نسخه تجربه کاربری بهتری را فراهم می‌کند.​​

🔗 مطالعه بیشتر

​​#Llama3

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

🔍 بررسی مدل‌های زبانی کوچک در عصر مدل‌های زبانی بزرگ

● در این مقاله جامع که اخیراً منتشر شده است، به بررسی مدل‌های زبانی کوچک (SLM) پرداخته می‌شود. این مدل‌ها به دلیل اندازه کوچک‌تر، کارایی بالا و قابلیت تطبیق در محیط‌هایی با منابع محدود، مورد توجه قرار گرفته‌اند.

۱. کاربردها و مزایا
مدل‌های SLM در حوزه‌های خاص مانند سلامت و قانون، برای پردازش داده‌های حساس و کاهش زمان پاسخگویی استفاده می‌شوند.

۲. چالش‌ها و بهبودها
این مدل‌ها نیازمند تکنیک‌هایی نظیر Knowledge Distillation، کاهش پارامترها و بهینه‌سازی هستند تا بتوانند کارایی مشابه مدل‌های بزرگ را در شرایط خاص ارائه دهند.

۳. آینده مدل‌های کوچک
با توجه به کاهش هزینه‌ها و افزایش نیاز به پردازش‌ها، پیش‌بینی می‌شود که این مدل‌ها نقشی کلیدی در توسعه هوش مصنوعی ایفا کنند.

#مقاله #مدل_زبانی_کوچک #SLM

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

● هوش مصنوعی (AI) چیست؟

○ وقتی صحبت از هوش مصنوعی می‌شود، در واقع ما در حال خلق چه چیزی هستیم؟
○ حتی افرادی که در نزدیک‌ترین جایگاه نسبت به توسعه آن قرار دارند، در توصیف دقیق مسیر پیش‌رو دچار چالش هستند.
○ مصطفی سلیمان، مدیرعامل هوش مصنوعی مایکروسافت و یکی از معماران اصلی مدل‌های هوش مصنوعی که بسیاری از ما امروزه از آن‌ها استفاده می‌کنیم، چشم‌اندازی صادقانه و جذاب از آینده هوش مصنوعی ارائه می‌دهد.
○ او استعاره‌ای غیرقابل چشم‌پوشی پیشنهاد می‌کند:

یک گونه دیجیتال جدید

تا توجه‌ها را به این لحظه خارق‌العاده جلب کند.

🔗 لینک مشاهده Ted Talk

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

🔔 خبر مهم برای کاربران PyTorch

● تیم توسعه‌دهنده PyTorch اعلام کرده است که از نسخه ۲.۵ به بعد، انتشار بسته‌های این کتابخانه در کانال رسمی Anaconda (با استفاده از -c pytorch) متوقف خواهد شد.

● این تصمیم به دلیل هزینه‌های بالای نگهداری و تفاوت قابل توجه در تعداد دانلودها بین PyPI و Anaconda اتخاذ شده است.

● توصیه‌ها برای کاربران:
○ برای نصب PyTorch، از بسته‌های رسمی موجود در PyPI یا سایت رسمی PyTorch استفاده کنید.
○ کاربرانی که همچنان تمایل به استفاده از Conda دارند، می‌توانند از بسته‌های موجود در conda-forge استفاده کنند.

● این تغییر به منظور بهبود تجربه کاربری و تمرکز بیشتر بر بهینه‌سازی بسته‌های PyTorch صورت گرفته است.

🔗 اطلاعات بیشتر

#خبر #PyTorch #Conda

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

🔬 تحولی در مدل‌های چندرسانه‌ای: همکاری متا و استنفورد با Mixture-of-Transformers (MoT)

● مدل‌های بزرگ زبانی (LLMs) از پردازش متن به تحلیل چندرسانه‌ای شامل متن، تصویر و گفتار توسعه یافته‌اند. اما چالش اصلی این مدل‌ها، نیاز به منابع محاسباتی عظیم است.

● راه‌حل چیست؟
معماری Mixture-of-Transformers (MoT) که یک معماری پراکنده و مقیاس‌پذیر است که هزینه‌های محاسباتی را کاهش داده و عملکردی هم‌سطح با مدل‌های متراکم ارائه می‌دهد.

● ویژگی‌های کلیدی MoT:
○ جداسازی پارامترهای خاص هر مدالیت برای پردازش بهتر
○ دستیابی به کیفیت متنی و تصویری مشابه با صرف ۴۷.۲% زمان محاسباتی کمتر
○ عملکرد عالی در تولید متن، تصویر و گفتار با ۵۵.۸% از FLOPs مورد نیاز مدل‌های سنتی

● در نتیجه MoT عملکردی هم‌سطح یا بهتر از مدل‌های متراکم نشان داده است. این معماری پتانسیل تحول در مدل‌های چندرسانه‌ای را دارد.

#مقاله #MoT

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

💬 هوش مصنوعی علیه کلاهبرداران تلفنی!

● در دنیای تکنولوژی، هوش مصنوعی هر روز ابعاد جدیدی از کاربردهای خود را به ما نشان می‌دهد. یکی از جالب‌ترین پروژه‌های اخیر، توسعه‌ی سیستمی به نام AI Granny است که به‌طور خاص برای مقابله با کلاهبرداران تلفنی طراحی شده است.

● این سیستم نقش یک سالمند پرحرف و خوش‌مشرب را بازی می‌کند که می‌تواند ساعت‌ها با کلاهبرداران تلفنی صحبت کند و آن‌ها را درگیر نگه دارد.

● هدف چیست؟ تلف کردن وقت کلاهبرداران و جلوگیری از تماس آن‌ها با افراد واقعی.

● این پروژه که توسط یک تیم هوش مصنوعی به رهبری یک توسعه‌دهنده خلاق راه‌اندازی شده، نشان می‌دهد که چگونه می‌توان از تکنولوژی برای مقابله با تهدیدات اجتماعی استفاده کرد. سیستم AI Granny به صورت طبیعی صحبت می‌کند، داستان‌های جالبی می‌گوید و حتی می‌تواند احساسات را شبیه‌سازی کند تا مکالمه را طولانی‌تر کند.

● سیستم AI Granny می‌تواند مکالمات مختلف را مدیریت کند و به سوالات کلاهبرداران پاسخ‌های نامربوط اما قانع‌کننده بدهد. همچنین این سیستم به‌طور مداوم یاد می‌گیرد و می‌تواند خود را برای بهبود مکالمات بعدی به‌روزرسانی کند.

🔗 مطالعه بیشتر

#وبلاگ

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

📚 کتاب ارزشمند Build a Large Language Model (From Scratch)

📖 انتشارات: Manning Publications Co | سال: ۲۰۲۴

● این کتاب به شما یاد می‌دهد چگونه یک مدل زبانی بزرگ از پایه بسازید و آن را بهینه کنید.

● مباحث کلیدی:
○ طراحی و کدنویسی تمام اجزای یک LLM
○ آماده‌سازی دیتاست برای آموزش مدل
○ آموزش و بهینه‌سازی مدل برای طبقه‌بندی متن و داده‌های شخصی
○ استفاده از بازخورد انسانی برای بهبود عملکرد مدل
○ درک عمیق از نحوه کار مدل‌های زبان بزرگ مانند ChatGPT و Bard
○ یادگیری فرآیند ساخت مدل‌های کوچک که قابل اجرا روی لپ‌تاپ‌های معمولی هستند
○ مناسب برای توسعه مدل‌های شخصی و دستیارهای هوشمند

● این کتاب شما را از سطح مبتدی تا پیشرفته در مسیر ساخت مدل‌های زبانی بزرگ همراهی می‌کند.

#کتاب #مدل_زبانی_بزرگ #LLM

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

🔍 تحولی در image captioning با روش Altogether

● تیمی از محققان Meta FAIR در مقاله‌ای جدید، رویکردی نوین به نام Altogether را برای بهبود image captioning معرفی کرده‌اند.

● منظور از Image Captioning، تولید متنی است که محتوای یک تصویر را توصیف می‌کند. این متن باید اطلاعات بصری موجود در تصویر را به طور دقیق و جامع منتقل کند. بهبود عملکرد مدل‌های هوش مصنوعی در وظایف مختلف مانند جستجوی تصویری، طبقه‌بندی، تولید تصویر و... تحت تاثیر این فرآیند است.

● روش Altogether از متن‌های جایگزین (Alt-text) موجود که همراه تصاویر در وب یافت می‌شوند، استفاده می‌کند و آن‌ها را با محتوای واقعی تصویر تطبیق می‌دهد. این روش به جای ایجاد یک کپشن کاملاً جدید، متن‌های موجود را بهبود می‌دهد تا دقیق‌تر و حاوی اطلاعات بیشتری باشند.

● روش Altogether توانسته است در آزمایش‌های خود عملکرد بهتری نسبت به مدل‌های پیشرفته فعلی مانند GPT-4V و LLaVA نشان دهد.

#مقاله #زیرنویس_گذاری

کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

🔍 بهینه‌سازی حافظه در Fine-Tune کردن ترنسفورمرها با روش Token Selection

● در مقاله‌ای از Meta AI، روشی جدید به نام TOKENTUNE برای بهینه‌سازی حافظه در آموزش مدل‌های ترنسفورمر معرفی شده است. این روش با انتخاب زیرمجموعه‌ای از توکن‌های ورودی و ذخیره‌سازی حداقلی فعال‌سازی‌ها، نیاز به حافظه را در فرآیند آموزش به طرز چشمگیری کاهش می‌دهد.

● ویژگی‌های کلیدی:
○ کاهش مصرف حافظه GPU تا ۷۹٪
○ با وجود کاهش حافظه، دقت در وظایف مختلف مانند طبقه‌بندی متن و پاسخ‌دهی به سؤالات، مشابه روش‌های مرسوم است.
○ این روش می‌تواند با دیگر روش‌های بهینه‌سازی حافظه مانند LoRA و QLoRA ترکیب شود.

#مقاله #مدل‌های_زبانی #بهینه‌سازی_حافظه

کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

​​ 🔍 مفاهیم RLHF، RLAIF، RLEF، RLCF:

● در دنیای یادگیری تقویتی (RL)، روش‌های متعددی برای بهبود عملکرد مدل‌ها با استفاده از بازخوردهای مختلف توسعه یافته‌اند. چهار رویکرد اصلی در این زمینه عبارت‌اند از:

۱. یادگیری تقویتی با بازخورد انسانی (RLHF): در این روش، مدل با استفاده از بازخوردهای انسانی آموزش می‌بیند تا عملکرد بهتری داشته باشد.

۲. یادگیری تقویتی با بازخورد هوش مصنوعی (RLAIF): در اینجا، به جای انسان، یک مدل هوش مصنوعی دیگر بازخورد را ارائه می‌دهد.

۳. یادگیری تقویتی با بازخورد محیطی (RLEF): در این روش، مدل از بازخوردهای مستقیم محیط برای بهبود عملکرد خود استفاده می‌کند.

4. یادگیری تقویتی با بازخورد مشتری (RLCF): در این رویکرد، بازخوردها از سوی کاربران یا مشتریان نهایی ارائه می‌شود تا مدل به نیازهای واقعی پاسخ دهد.

🔗 مطالعه بیشتر

#آموزش #Reinforcement_Learning

کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

​​🔍 هوش مصنوعی مولد چگونه بازار کار را متحول می‌کند​​؟

● ​​هوش مصنوعی مولد (Generative AI) در حال تغییر چشم‌انداز بازار کار است. بر اساس مقاله‌ای در Harvard Business Review، تاثیرات این فناوری بر مشاغل مختلف بررسی شده است.

● این مطالعه با تحلیل بیش از یک میلیون آگهی شغلی آنلاین، به بررسی تاثیر ابزارهایی مانند ChatGPT و هوش مصنوعی مولد تصویر پرداخته است.

● در این پژوهش تغییرات در تعداد آگهی‌ها، الزامات شغلی و دستمزدها بررسی شده و نشان داده شده کدام حوزه‌ها و مشاغل بیشتر تحت تاثیر قرار گرفته‌اند.

​​○ افزایش بهره‌وری: هوش مصنوعی مولد می‌تواند وظایف تکراری را خودکار کرده و به کارکنان اجازه دهد بر فعالیت‌های استراتژیک تمرکز کنند.
○ ایجاد مشاغل جدید: با ظهور این فناوری، نیاز به تخصص‌های جدید مانند مهندسی هوش مصنوعی و مدیریت داده افزایش یافته است.
​​○ تغییر در مهارت‌های مورد نیاز: کارفرمایان به دنبال افرادی با مهارت‌های ترکیبی در حوزه‌های فنی و خلاقانه هستند.
​​○ چالش‌های اخلاقی و قانونی: استفاده از هوش مصنوعی مولد مسائل اخلاقی و حقوقی جدیدی را مطرح کرده است که نیازمند توجه ویژه است.

🔗 مطالعه نتایج تحقیق و جزئیات بیشتر

#وبلاگ #بازار_کار

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |

📢 تحولی در بهبود عملکرد مدل‌های زبانی بزرگ (LLMs)

● این مقاله بررسی جامعی روی اهمیت و تأثیر کاهش فعال‌سازی‌ها (Activation Sparsity) در مدل‌های زبانی بزرگ انجام داده است.

● نکات کلیدی:
○ فعال‌سازی پراکنده: به معنای کاهش خروجی‌های ضعیف در لایه‌های شبکه عصبی است که به تسریع پردازش و بهبود درک مدل کمک می‌کند.
○ متریک جدید PPL-p%: این متریک عملکرد را با میزان پراکندگی ترکیب کرده و بازخورد دقیق‌تری از تأثیر کاهش فعال‌سازی ارائه می‌دهد.
○ مزایای ReLU: عملکرد برتری نسبت به SiLU در افزایش پراکندگی و کاهش مصرف منابع دارد.

● یافته‌های اصلی:
○ نسبت فعال‌سازی با افزایش داده‌های آموزشی و استفاده از توابع فعال‌سازی به صورت قانون توان تغییر می‌کند.
○ مدل‌های کوچک‌تر سریع‌تر به پراکندگی مطلوب می‌رسند، اما مدل‌های بزرگ‌تر الگوهای فعال‌سازی مشابهی ارائه می‌دهند.

#مقاله #LLM

در کانال انجمن علوم داده شبکه نخبگان ایران با ما همراه باشید 🌱
| @DataScience_Association |