یکی از کتاب‌های کلاسیک برای زبان پایتون، کتاب python cookbook است که برای تبدیل‌شدن به یک برنامه‌نویس ارشد نیاز است. احتمالا کم‌تر کتابی شبیه به این کتاب را مطالعه کرده باشید و در مواجه‌ی اولیه، شاید نگارش کتاب کمی عجیب باشد. کتاب مجموعه‌ای از مسایل و راه‌کارها را ارایه می‌دهد که به‌شدت پرکاربرد و مورد نیاز هستند. در این بین، مفاهیم مورد نیاز را نیز تعلیم می‌دهد. نویسنده‌ی کتاب دیوید بیزلی است که شاید بعدها در موردش نوشتیم ولی همین میزان لازم است اشاره کنیم که یکی از معتبرترین اساتید دانشگاه چیکاگو بوده است و در زمینه‌ی پایتون، فوق‌العاده فرد حاذقی است. اگر بدنبال برنامه‌نویس شدن ارشد هستید، خواندن این کتاب از واجبات است.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#معرفی_کتاب #معرفی_منبع #پایتون #python
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

در یادگیری تقویتی دو ایده‌ی اساسی وجود دارد که سبب می‌شود عمل‌کرد این روش‌ها مناسب باشد. ایده‌ی مربوط به explore و exploit کردن. با یک تعریف ساده، explore کردن به این معنی است که روش سعی می‌کند دنباله‌ی جدیدی از حرکات را بررسی کند تا شاید بتواند به جواب‌های بهتری برسد و exploit کردن به این معنی است که روش سعی می‌کند از دانشی که کسب کرده برای پیدا کردن جواب مناسب استفاده کند. روش‌های مبتنی‌بر تقویتی به دنباله‌ی حرکات وابسته هستند و تلاش می‌کنند با چند حرکت مساله را حل کنند. اما گونه‌ای از روش‌های تقویتی مبتنی‌بر ایده‌ی one-step هستند. اگر با رابطه‌ی بلمن آشنا باشید، شاید برایتان این موضوع کمی عجیب باشد. اخیرا دکتر لوین مقاله‌ی تئوریک بسیار جالبی را ارایه کرده‌اند با نام A Connection between One-Step RL and Critic Regularization in Reinforcement Learning که ایده‌های مناسبی را مطرح می‌کند. معمولا مقاله‌های یادگیری تقویتی خوب به این بسنده نمی‌کنند که صرفا یکی مدل تازه ارایه‌شده را در بستر مسائل مختلف امتحان کنند و سعی می‌کنند با کمک بحث‌های تئوری به بررسی ایده‌های جدید بپردازند. این مقاله هم مثل بیشتر مقاله‌های دکتر لوین از این قاعده مستثنی نیست.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#یادگیری_عمیق #شبکه_عصبی #معرفی_مقاله #یادگیری_تقویتی_عمیق #یادگیری_تقویتی
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

استفاده از یادگیری عمیق در پروژه های تجاری - بخش 24

بانظارت به تقویتی

حدودا چند سال پیش بود که مقالات زمینه‌ی بانظارت به صورت گسترده سعی کردند از یادگیری تقویتی برای بهبود عمل‌کرد استفاده کنند. برای افزایش درصد یادگیری، معمولا به روش‌هایی مثل آنسامبل اشاره می‌شود ولی روش کم‌تر شناخته‌شده‌ی دیگری نیز وجود دارد که می‌تواند در درصدهای بالا نیز مفید باشد. بدلیل وجود برچسب در داده‌های بانظارت، می‌توان به سادگی تابع ریواردی تعریف کرد که در یادگیری تقویتی قابلیت استفاده داشته باشد. با این کار، با مساله به جای بانظارت به صورت مساله‌ی تقویتی روبه‌رو می‌شویم و اجازه می‌دهیم با چند حرکت عامل به هدف نزدیک شود. با این‌کار، با دنباله‌ای از حرکات روبه‌رو می‌شویم که شاید کمی نسبت به حالت بانظارت هزینه‌ی بیشتر داشته باشد ولی مهم‌ترین عنصر موفقیت در این حالت، قابلیت کاوش در تقویتی است که اجازه می‌دهد عامل بتواند در اکثر مواقع خود را از هر حالتی به حالت بهتر ببرد. در این زمینه مقالات فرآوانی را می‌توانید پیدا کنید.


ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#نکته_آموزشی #یادگیری_عمیق #شبکه_عصبی #مثالهای_کاربردی #پروژه_تجاری #یادگیری_تقویتی_عمیق
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

دکتر بنجیو چند روز پیش مقاله جالبی در زمینه‌ی توجه ارایه کردند که شاید مثل مقاله‌ی سال 2014 که انقلابی در زمینه‌ی توجه و شبکه‌های بازگشتی به راه انداخت، مهم باشد. اگر مقایسه کنیم، این مقاله پس‌زمینه‌ی ریاضی بهتری دارد.

Constant Memory Attention Block

Modern foundation model architectures rely on attention mechanisms to effectively capture context. However, these methods require linear or quadratic memory in terms of the number of inputs/datapoints, limiting their applicability in lowcompute domains. In this work, we propose Constant Memory Attention Block (CMAB), a novel general-purpose attention block that computes its output in constant memory and performs updates in constant computation. Highlighting CMABs efficacy, we introduce methods for Neural Processes and Temporal Point Processes. Empirically, we show our proposed methods achieve results competitive with state-of-the-art while being significantly more memory efficient.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#یادگیری_عمیق #شبکه_عصبی #معرفی_مقاله #توجه
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

ویژگی‌های کلی مدل‌های مبتنی‌بر برت

به صورت کلی، مدل‌های مبتنی‌بر برت در دو فاز مورد استفاده قرار می‌گیرند. فاز اول که pretrain نامیده می‌شود به این اشاره دارد که مدل برروی مجموعه داده‌ی بزرگی آموزش می‌بیند تا ساختارهای موجود در زبان را آموزش ببیند. این فرآیند با توابع هزینه‌ی متفاوتی صورت می‌گیرد؛ برای مثال، می‌توان به وظیفه masked language model یا MLM اشاره کرد که در آن تعداد کلماتی به صورت تصادفی از جملات حذف می‌شوند و شبکه لازم است حدس بزند که این کلمات چه بوده‌اند. در عمل، این مرحله که در کانتکست برت با نام pretrain شناخته می‌شود، همانند کاری است که قبل از transfer learning برای ساخت مدل از قبل آموزش دیده‌شده طی می‌شود. مرحله‌ی دوم در آموزش مدل‌های مبتنی‌بر برت، مربوط به آموزش برای تسک خاص می‌شود. این مرحله خیلی شباهت به استفاده از مدل از قبل آموزش دیده‌شده در فرآیند transfer learning برای وظیفه‌ی جدید دارد. بسته به کاربرد می‌تواند متفاوت باشد ولی به صورت کلی وزن‌های مدل برت منجمد می‌شوند و بعد از آن لایه‌هایی قرار می‌گیرند تا برای وظیفه‌ی مورد نظر، عملکرد بهتر شود. در این فاز، شبکه‌ی سرهم‌بندی‌شده، روی تابع هزینه‌ی خاصِ وظیفه‌ی جدید آموزش می‌بیند.

با وجود کاربرد ذکرشده، این گونه از شبکه‌ها کاربردهای عینی متفاوتی دارند که به چند مورد اشاره می‌کنیم.
یک. Contextualise Embedding: مدل‌های مبتنی‌بر برت به صورت کلی دنباله‌به‌دنباله، sequence to sequence، هستند. ویژگی خروجی‌های مربوط به هر توکنِ ورودی این است که با توجه به همسایه‌هایش تغییر می‌کند. به عبارتی اگر دو جمله‌ی علی آمد و علی رفت به شبکه داده شود، توقع می‎رود که بردارهای نهفته علی برای هر کدام از جملات، متفاوت باشد زیرا در بسترهای متفاوتی علی دیده شده است. این موضوع از این جهت اهمیت بالایی دارد که بدانید روش‌هایی مثل Word2Vec برای هر توکن صرفا یک بردار نهفته پیدا می‌کند. این موضوع ضعف محسوب می‌شود زیرا شیرِ آب و شیرِ جنگل هر دو با حروف ش ی ر نمایش داده می‌شوند ولی معانی متفاوتی دارند. روش برت، این مشکل را با توجه به کلمات بستر حل می‌کند.
دو. Permutation Equivariance Problem: به صورت کلی، مدل‌های مبتنی‌بر تبدیل‌کننده از جمله برت، به خودی خود، permutation equivariance هستند؛ به عبارتی، اگر دو جمله‌ی علی آمد و آمد علی به خود شبکه داده شود، بردارهای نهفته‌ی خروجیِ کدگذار برای علی یکسان خواهد بود. این در حالی است که محل نسبی قرارگیری کلمات در جملات اهمیت دارد و برای مثال، اگر کلمه‌ای در نقش فاعل باشد، باید بردار نهفته‌ی متفاوتی داشته باشد نسبت به زمانی که در نقش مفعول است. برای این منظور، قبل‌از شبکه، بردارهای مکانی به بردارهای نهفته‌ی اولیه‌ی توکن‌ها اضافه می‌شوند. روش‌هایی نظیر Word2Vec برای این دست از مسایل حرفی برای گفتن ندارند.
سه. Fill in the Blank: به صورت کلی، یکی از کاربردهای جالب برای مدل‌های مبتنی‌بر برت، پرکردن جای خالی است. با استفاده از این مدل‌ها می‌توان فهمید در هر فرهنگ چه عقایدی پیرامون مسایل مختلف وجود دارد.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#یادگیری_عمیق #برت #transformer #شبکه_عصبی
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

دیوید بیزلی اخیرا طی تحرکاتی (!) که در صفحه‌ی گیتهابش داشته، اقدام به انتشار پایتون پیشرفته کرده که تمامی فایل‌های آموزشی و تمرینات را در دسترس قرار داده است. واقعا علت رایگان بودنش را نمی‌دانیم ولی به شدت مطالعه‌ی مطالب جدیدش را توصیه می‌کنیم.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#معرفی_منبع #پایتون #python
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

ظاهرا انتشارات پکت برای چند روز دسترسی به تمامی کتاب‌های انتشاراتش را رایگان کرده است. از کتاب‌های جالبی که معرفی نکردیم، می‌توان به کتاب‌های جدیدی که پیرامون چت جی‌پی‌تی نگاشته شده‌اند اشاره کرد که می‌توانید به آن‌ها دسترسی پیدا کنید.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#معرفی_کتاب #معرفی_منبع
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

خروجی‌های لایه‌های میانی

احتمالا اگر با تنسورفلو 2 کار کرده باشید می‌دانید که برای بدست آوردن خروجی لایه‌های میانی می‌توان به راحتی از functional API استفاده کرد و با ساخت یک زیرمدل به راحتی خروجی‌های لایه‌های میانی را یافت. با این حال، در پایتورچ بدست آوردن خروجی‌های لایه‌های میانی کمی دشوار است. جدا از روش‌هایی که باید تک‌تک لایه‌ها را وارد کنید، روش مرسوم استفاده از forward hook است که این روش با وجود کدزنی کم، تا حدودی پیچیده است. برای راحتی کار می‌توانید از کتابخانه‌ی torch-intermediate-layer-getter استفاده کنید.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#یادگیری_عمیق #شبکه_عصبی #پایتون #پایتورچ #تنسورفلو
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

استفاده از یادگیری عمیق در پروژه های تجاری - بخش 25

برای ساخت شبکه‌ی عصبی چه مواردی را در نظر می‌گیرید؟ احتمالا اگر تا به حال کدزنی شبکه انجام داده باشید، حتما می‌دانید که چک‌کردن ابعاد تنسورها چالشی‌ترین و مهم‌ترین قسمت کدزنی است؛ به نحوی که در هر لایه، خروجی‌ها و ورودی‌ها باید به دقت بررسی‌شوند تا ابعاد به درستی چیده شده باشند. نکته‌ای که وجود دارد این است که برای این چک کردن چه کار انجام می‌دهید؟ احتمالا با دیدن کدهای منبع متفاوت یادگرفته باشید که در انتهای هر ماژول تست‌هایی با assert بنویسید و از درستی ابعاد اطمینان حاصل کنید. این کار عالی است و حتما پیشنهاد می‌شود ولی توصیه‌ای بسیار کلیدی داریم که هم در ارایه‌ی روش‌های نوین و هم در پیاده‌سازی‌های مرسوم کمک‌کننده خواهدبود. اگر برق خوانده باشید یا حداقل نقشه‌ی مدارهای الکتریکی را دیده باشید، احتمالا دیده‌اید که روی اتصالات سیم‌ها عدد می‌نویسند. اگر با تنسوربورد کار کرده باشید، مشابه این موضوع را در اتصالات قسمت‌های مختلف شبکه به هم دیده‌اید. توصیه‌ی کلیدی ما این است که پیش از کدزنی شبکه بهترین دوستتان قلم و کاغذتان باشد. تک‌تک قسمت‌های شبکه را روی دایاگرام بیاورید و روی اتصالات زیرقسمت‌ها به هم، ابعاد تنسورها را دقیق بنویسید. این کار سبب می‌شود فرآیند ارایه‌ی روش خیلی سریع صورت گیرد.


ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#نکته_آموزشی #یادگیری_عمیق #شبکه_عصبی #مثالهای_کاربردی #پروژه_تجاری
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

بدلیل اینکه از یادگیری تقویتی در موقعیت‌های حساس ممکن است استفاده شود، یکی از نیازهایی که لازم است در نظر گرفته شود، امنیت عامل‌های مبتنی‌بر تقویتی است. اخیرا مقاله‌ی جدید در این زمینه با نام SMARLA: A Safety Monitoring Approach for Deep Reinforcement Learning Agents در آرکایو آپلود شده که به این زمینه پرداخته است؛ همچنین، ارجاعات این مقاله نیز می‌توانند بسیار کمک‌کننده باشند. این حوزه را برای ارایه‌ی مقاله پیشنهاد می‌دهیم.

Deep reinforcement learning algorithms (DRL) are increasingly being used in safety-critical systems. Ensuring the safety of DRL agents is a critical concern in such contexts. However, relying solely on testing is not sufficient to ensure safety as it does not offer guarantees. Building safety monitors is one solution to alleviate this challenge. This paper proposes SMARLA, a machine learning-based safety monitoring approach designed for DRL agents. For practical reasons, SMARLA is designed to be black-box (as it does not require access to the internals of the agent) and leverages state abstraction to reduce the state space and thus facilitate the learning of safety violation prediction models from agent’s states. We validated SMARLA on two well-known RL case studies. Empirical analysis reveals that SMARLA achieves accurate violation prediction with a low false positive rate, and can predict safety violations at an early stage, approximately halfway through the agent’s execution before violations occur.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#یادگیری_عمیق #شبکه_عصبی #معرفی_مقاله #یادگیری_تقویتی_عمیق #یادگیری_تقویتی
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

اگر به دنبال شروع یادگیری زبان پایتون هستید، یکی از کتاب‌هایی که خواندن آن را پیشنهاد می‌دهیم، کتاب Python Distilled است. از ویژگی‌های مناسب کتاب که تقریبا در تمامی آثار دیوید بیزلی می‌توان آن را مشاهده کرد، نگارش کتاب به صورت کاربردی است؛ یعنی مطالبی را که مطالعه می‌کنید کاربردش را خواهید دانست که در کجاها کمک‌کننده است. نباید توقع داشت که تمامی مطالب زبان پوشش داده شود ولی پس از مطالعه‌ی کتاب به عنوان فردی که تازه شروع به مطالعه‌ی زبان پایتون کرده، در نقطه‌ی مناسبی قرار خواهید گرفت.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#معرفی_کتاب #معرفی_منبع #پایتون #python
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

پیش از این کتاب Fluent Python را معرفی کرده بودیم. پس از مطالعه‌ی این کتاب، خواندن کتاب Robust Python را پیشنهاد می‌دهیم. یکی از موارد بسیار پراهمیت در نوشتن کد، در نظر گرفتن مواردی است که سبب می‌شود بتوان کد را در آینده گسترش داد؛ به عبارتی دیگر، بتوان در پایتون خوب کدزد تا قابلیت افزودن ویژگی‌های جدید را داشته باشد. از سویی دیگر، مواردی نظیر نوشتن تست‌های مناسب، چک‌کننده‌های نوع کاربردی و مواردی از این دست که سبب می‌شوند کد قدرت مناسبی در زمینه‌های متفاوت داشته باشد، در این کتاب بررسی شده‌اند.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#معرفی_کتاب #معرفی_منبع #پایتون #python
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

احتمالا می‌دانید که توابع و کتابخانه‌های متفاوتی در زبان پایتون برای افزایش کارایی از زبان سی استفاده می‌کنند و با انجام ترفند‌هایی از کد نوشته‌شده در زبان سی در پایتون استفاده می‌کنند. به همین دلیل است که با داندر کد گاهی نمی‌توانید به کد منبع برخی توابع دسترسی داشته باشید. یکی از کتاب‌های مناسبی که در این زمینه می‌تواند بسیار کمک‌کننده باشد، کتاب CPython Internals: Your Guide to the Python 3 Interpreter از سایت پرطرفدار Real Python است. اگر نیاز به نوشتن کد پایتون با کارایی زیاد را دارید، خواندن کتاب را توصیه می‌کنیم.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#معرفی_کتاب #معرفی_منبع #پایتون #python
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

با گسترش رایانش کوانتومی و کامپیوترهای کوانتومی، کاربردهای این پردازش در زمینه‌های متفاوت از جمله شبکه‌های عصبی گسترش یافته است. چند روز پیش در آرکایو مقاله‌ی مهمی تحت عنوان What can we learn from quantum convolutional neural networks آپلود شد که به سوالات بسیار مهمی جواب می‌دهد. اگر بدنبال انجام کار مناسب در دوره‌ی دکتری هستید، با توجه به تازه بودن نسبی بحث، به شدت توصیه می‌کنیم در این زمینه کار کنید.

We can learn from analyzing quantum convolutional neural networks (QCNNs) that: 1) working with quantum data can be perceived as embedding physical system parameters through a hidden feature map; 2) their high performance for quantum phase recognition can be attributed to generation of a very suitable basis set during the ground state embedding, where quantum criticality of spin models leads to basis functions with rapidly changing features; 3) pooling layers of QCNNs are responsible for picking those basis functions that can contribute to forming a high-performing decision boundary, and the learning process corresponds to adapting the measurement such that few-qubit operators are mapped to full-register observables; 4) generalization of QCNN models strongly depends on the embedding type, and that rotation-based feature maps with the Fourier basis require careful feature engineering; 5) accuracy and generalization of QCNNs with readout based on a limited number of shots favor the ground state embeddings and associated physics-informed models. We demonstrate these points in simulation, where our results shed light on classification for physical processes, relevant for applications in sensing. Finally, we show that QCNNs with properly chosen ground state embeddings can be used for fluid dynamics problems, expressing shock wave solutions with good generalization and proven trainability.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#یادگیری_عمیق #شبکه_عصبی #معرفی_مقاله #شبکه_کانولوشنی #کوانتوم
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

احتمالا می دانید که از مدل‌های زبانی بزرگ می‌توان به عنوان پردازش‌کننده‌ی داده استفاده کرد. اخیرا مقاله‌ای تحت عنوان Large Language Models as Data Preprocessors در آرکایو بارگذاری شده است که عمل‌کرد شبکه‌های عصبی را بهبود می‌بخشد.

Large Language Models (LLMs), typified by OpenAI's GPT series and Meta's LLaMA variants, have marked a significant advancement in artificial intelligence. Trained on vast amounts of text data, LLMs are capable of understanding and generating human-like text across a diverse range of topics. This study expands on the applications of LLMs, exploring their potential in data preprocessing, a critical stage in data mining and analytics applications. We delve into the applicability of state-of-the-art LLMs such as GPT-3.5, GPT-4, and Vicuna-13B for error detection, data imputation, schema matching, and entity matching tasks. Alongside showcasing the inherent capabilities of LLMs, we highlight their limitations, particularly in terms of computational expense and inefficiency. We propose an LLM-based framework for data preprocessing, which integrates cutting-edge prompt engineering techniques, coupled with traditional methods like contextualization and feature selection, to improve the performance and efficiency of these models. The effectiveness of LLMs in data preprocessing is evaluated through an experimental study spanning 12 datasets. GPT-4 emerged as a standout, achieving 100\% accuracy or F1 score on 4 datasets, suggesting LLMs' immense potential in these tasks. Despite certain limitations, our study underscores the promise of LLMs in this domain and anticipates future developments to overcome current hurdles.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#یادگیری_عمیق #شبکه_عصبی #transformer #معرفی_مقاله #LLM
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

آموزش و پیاده‌سازی شبکه‌ی تبدیل‌کننده

⏰ مدت زمان: +9 ساعت
🎁 به همراه تخفیف برای مدت محدود


پشتیبانی تلگرام|سایت

آموزش Tensorflow

لینک سرفصل‌ها
ویدیوهای نمونه

⏰ مدت زمان: +75 ساعت
🎁 تا انتهای مهر تخفیف لحاظ خواهد شد.


پشتیبانی تلگرام|سایت

پیدا کردن تاپیک یا topic modeling یکی از وظایف جالبی است که این اجازه را می‌دهد با توجه به اسناد، تاپیک‌هایی که در آن‌ها واژه‌های مرتبط در اسناد وجود دارند پیدا کنیم. به نوعی می‌توان هر تاپیک را شبیه به یک کلاستر یا خوشه دانست که واژه‌های مرتبط در تاپیک‌های یکسان قرار می‌گیرند و می‌توان فهمید اسناد مختلف پیرامون چه هستند. از روش‌های معروف که پیش از این به آن اشاره کرده بودیم، روش LDA است. یکی از مواردی که در مواجه با LDA برای مجموعه داده‌ی بزرگ تجربه کرده‌ایم این است که معمولا برای هر تاپیک به سختی بتوان کلمه‌‌ای به عنوان نماینده پیدا کرد اگر تعداد واژه در هر تاپیک زیاد باشد. یکی از روش‌های بسیار بسیار جذابی که پیرامون پیدا کردن تاپیک وجود دارد، روش BERTopic است. اگر از جزییات پیاده‌سازی روش عبور کنیم، یکی از ویژگی‌های مهم روش این است که نتایجش به شدت کاربردی هستند. اگر ابرپارامترها را تغییر ندهید و مقادیر پیش‌فرض را استفاده کنید، عملا واژگان بسیار مرتبط در هر تاپیک قرار می‌گیرند؛ با این حال، اگر تعداد تاپیک‌ها را به اندازه‌ی معقول و کاربردی کاهش دهید، تاپیک‌هایی پیدا می‌شوند که منسجم هستند؛ به عبارتی، می‌توانید راحت‌تر از روش LDA برای هر تاپیک واژه‌ای برای توصیف تاپیک پیدا کنید. لازم است به این موضوع نیز اشاره کنیم که اگر تعداد تاپیک را در این روش کم کنید، احتمال دارد برخی از تاپیک‌های پر بحث در اسناد، در نتایج ظاهر نشوند که توصیه می‌شود تعداد تاپیک‌ها را در این شرایط افزایش دهید. از نکات قابل توجه این است که مدل برت استفاده شده در این روش بسیار کوچک‌تر از برت پایه است. اگر در ارشد یا دکتری کار می‌کنید، استفاده یا بسط این روش را توصیه می‌کنیم.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#یادگیری_عمیق #شبکه_عصبی #transformer #معرفی_مقاله #LLM #نکته_آموزشی #BERT
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

کتاب جدید چی بخونیم؟

اخیرا انتشارات manning کتاب LLMs in Production را به حالت MEAP، دسترسی زود هنگام، در آورده است که خواندن آن را توصیه می‌کنیم. همه با انقلاب مدل‌های زبانی بزرگ و حتی بسیار بزرگ در سال‌های اخیر و تاثیرشان در زمینه‌های متفاوت آشنا هستیم. در این کتاب که تا به حال سه فصلش نگاشته شده است، نویسندگان تلاش کرده‌اند تا با شروع از مفاهیم پایه به مفاهیم پیچیده‌تر بپردازند. خواندن کتاب از این جهت اهمیت دارد که این دست از مدل‌ها در آینده در بسیاری از پایپ‌لاین‌ها استفاده خواهند شد؛ برای مثال، در حال حاضر می‌توانید مقالات فراوانی را که سیگنال ورودی آن‌‌ها تصویر است و با این حال در ساختارشان از LLMها استفاده می‌کنند را مشاهده کنید.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#معرفی_کتاب #معرفی_منبع #BERT #شبکه_عصبی #LLM
ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
پشتیبانی | کانال | سایت | اینستاگرام | آپارات

سلام، وقت به خیر.
در این مدت که در کانال فعالیت کم شده بود به دلیل حوادث اخیر سعی کردیم زمانی را که برای تهیه مطالب قرار می‌دهیم را روی قسمت تئوری ت. ووط ئه که سال قبل به آن پرداخته بودیم، تخصیص دهیم. مطلبی را که جمع‌آوری کرده‌ایم، به تدریج در کانال قرار می‌دهیم و در سایت قرار نمی‌دهیم. برای این‌که تلگرام حساس نشود، مطالب را با تغییر واژگان قرار می‌دهیم که اگر قبلا دنبال کرده باشید، آشنا هستید. قبل از قرار دادن مطالب لازم است به چند نکته اشاره کنیم. مطالب را اکثر اعضایمان با دیدگاه‌های پِلتیکال متفاوت نوشته‌اند و صرفا سردبیر با نگارش خودشان انکریپت کرده‌اند که نویسنده‌ی هر بخش مشخص نشود. تعدادی از دیولپرهای ما در یو اس هستند و یکی هم در کان دادا، برای این‌که این دوستان با مشکل روبه‌رو نشوند در ایالت‌هایی که هستند، اسامی آن‌ها را در وب‌‌سایت قرار ندادیم و در کانال هم به هیچ وجه اسامی را قرار نمی‌دهیم و صرفا مطالب جمع‌آوری شده را پست می‌کنیم. عزیزانی که ما را همراهی کردند تجربیات خود را از زمان دانشجویی یا بعد از آن که مشغول به کار شدند، با ما به اشتراک گذاشته‌اند. صادقانه بخواهیم صحبت کنیم، به خواب هم نمی‌دیدیم در یورک جدید پروتست چند صد هزار نفری صورت گیرد. به همین دلیل تقریبا در یکی دو ماه اخیر مطالب را جمع‌آوری کردیم که متناسب با زمان حال باشد. مطالب جدید را تحت هشتگ #نیوز منتشر می‌کنیم و دیگر تحت هشتگ طئوری کانسپیرسی مطالب را قرار نمی‌دهیم که الگوریتم‌های تکست ماینینگ حساس نشوند. در انتها متذکر می‌شویم که فعالیت‌های عادی کانال و وب‌سایت که پیرامون هوش‌مصنوعی و حوزه‌های متفاوت لرنینگ بود را از سر می‌گیریم.

ـــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــــ
#نیوز