🧑‍💻Cyber.vision🧑‍💻

‏
System 2 LLM or AI

لبه دانش هوش مصنوعی اینجاست!

مدل های جدید مثل o1-preview و o1-mini می‌تونن اولین نسخه‌های موفق System 2 LLM در دنیای تجاری باشن. حالا System 2 یعنی چی؟ این مفهوم رو دنیل کانمن تو کتاب معروفش "تفکر، سریع و کند" (2011) مطرح کرد. خیلی خلاصه بخوایم بگیم:
سیستم 1 یعنی جواب‌های آنی و سریع که بیشتر از روی شهود میان
اما سیستم 2 یعنی فکر کردن با تأمل و دقت، که معمولاً زمان‌بره.

ما از زمانی که ChatGPT اومد (نوامبر 2022)، بیشتر با مدل‌های System 1 سروکار داشتیم. این مدل‌ها مستقیم به یه سوال یا prompt جواب می‌دن. اما مدل‌های System 2 برعکس، یه فرآیند تحلیلی و دقیق رو طی می‌کنن، مسائل پیچیده رو به قسمت‌های کوچکتر می‌شکنن و مرحله به مرحله به جواب می‌رسن.
البته هنوزم این تفکر خیلی مثل انسان واقعی نیست، ولی نسبت به چیزی که قبلاً بود، خیلی پیشرفت کرده. برای همین هم خیلیا OpenAI o1 رو اولین مدل AI می‌دونن که واقعاً می‌تونه reasoning انجام بده (یعنی استدلال کنه).

توی داکیومنت‌های OpenAI اومده که این مدل‌های جدید از چیزی به اسم reasoning tokens استفاده می‌کنن که بخشی از روش معروف Chain of Thought (CoT) هست.
یه چیز دیگه هم که بهش اشاره شده اینه که دارن از Reinforcement Learning (RL) برای بهبود فرآیند thinking استفاده می‌کنن.

الان دقیق مشخص نیست که OpenAI از چه تکنیک‌هایی استفاده کرده، ولی با توجه به مقاله‌های جدید، می‌شه حدس‌هایی زد:

Chain of Thought (2022)
https://arxiv.org/abs/2201.11903
Tree of Thoughts (2023)
https://arxiv.org/abs/2305.10601
Branch-Solve-Merge (2023)
https://arxiv.org/abs/2310.15123
System 2 Attention (2023)
https://arxiv.org/abs/2311.11829
Rephrase and Respond (2023)
https://arxiv.org/abs/2311.04205

اینا همه روش‌هایی هستن که کمک می‌کنن یه مدل System 2 بتونه مثل یه انسان، برنامه‌ریزی کنه، مسئله رو تجزیه و تحلیل کنه و سناریوهای مختلف رو بررسی کنه.

مدل‌های System 2 که بهشون می‌گن CoT-enabled LLMs توی کارهایی که قبلاً هیچ‌وقت انجام نشده و نیاز به استدلال دارن، فوق‌العاده عمل می‌کنن.
این مدل‌ها از چیزی به اسم reasoning tokens استفاده می‌کنن که به مدل کمک می‌کنه برای خودش مراحل منطقی برنامه‌ریزی کنه. حتی ممکنه خروجی‌های موقتی بسازه که کاربر نمی‌بینه.

OpenAI تصمیم گرفته یه بخش‌هایی از این تفکر رو به زبان خودمونی نشون بده. مثلاً می‌تونی عباراتی مثل:
"First"، "Next"، "Hmm"، "Let’s test this theory"، "Alternatively"، و "That seems unlikely" رو توی خروجی مدل ببینی.
البته اینا در واقع system tokens هستن که مدل ازشون برای هدایت مسیر فکر کردن استفاده می‌کنه، ولی برای اینکه برای کاربر قابل فهم باشن، به زبان انسان نشون داده می‌شن.

دوست داشتین در ادامه در مورد Reasoning Token بیشتر میگم

arXiv.org

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

We explore how generating a chain of thought -- a series of intermediate reasoning steps -- significantly improves the ability of large language models to perform complex reasoning. In particular,...

www.tgoop.com/pythonwithmedev/444

68 viewsApr 9 at 07:38

‏
System 2 LLM or AI

لبه دانش هوش مصنوعی اینجاست!

مدل های جدید مثل o1-preview و o1-mini می‌تونن اولین نسخه‌های موفق System 2 LLM در دنیای تجاری باشن. حالا System 2 یعنی چی؟ این مفهوم رو دنیل کانمن تو کتاب معروفش "تفکر، سریع و کند" (2011) مطرح کرد. خیلی خلاصه بخوایم بگیم:
سیستم 1 یعنی جواب‌های آنی و سریع که بیشتر از روی شهود میان
اما سیستم 2 یعنی فکر کردن با تأمل و دقت، که معمولاً زمان‌بره.

ما از زمانی که ChatGPT اومد (نوامبر 2022)، بیشتر با مدل‌های System 1 سروکار داشتیم. این مدل‌ها مستقیم به یه سوال یا prompt جواب می‌دن. اما مدل‌های System 2 برعکس، یه فرآیند تحلیلی و دقیق رو طی می‌کنن، مسائل پیچیده رو به قسمت‌های کوچکتر می‌شکنن و مرحله به مرحله به جواب می‌رسن.
البته هنوزم این تفکر خیلی مثل انسان واقعی نیست، ولی نسبت به چیزی که قبلاً بود، خیلی پیشرفت کرده. برای همین هم خیلیا OpenAI o1 رو اولین مدل AI می‌دونن که واقعاً می‌تونه reasoning انجام بده (یعنی استدلال کنه).

توی داکیومنت‌های OpenAI اومده که این مدل‌های جدید از چیزی به اسم reasoning tokens استفاده می‌کنن که بخشی از روش معروف Chain of Thought (CoT) هست.
یه چیز دیگه هم که بهش اشاره شده اینه که دارن از Reinforcement Learning (RL) برای بهبود فرآیند thinking استفاده می‌کنن.

الان دقیق مشخص نیست که OpenAI از چه تکنیک‌هایی استفاده کرده، ولی با توجه به مقاله‌های جدید، می‌شه حدس‌هایی زد:

Chain of Thought (2022)
https://arxiv.org/abs/2201.11903
Tree of Thoughts (2023)
https://arxiv.org/abs/2305.10601
Branch-Solve-Merge (2023)
https://arxiv.org/abs/2310.15123
System 2 Attention (2023)
https://arxiv.org/abs/2311.11829
Rephrase and Respond (2023)
https://arxiv.org/abs/2311.04205

اینا همه روش‌هایی هستن که کمک می‌کنن یه مدل System 2 بتونه مثل یه انسان، برنامه‌ریزی کنه، مسئله رو تجزیه و تحلیل کنه و سناریوهای مختلف رو بررسی کنه.

مدل‌های System 2 که بهشون می‌گن CoT-enabled LLMs توی کارهایی که قبلاً هیچ‌وقت انجام نشده و نیاز به استدلال دارن، فوق‌العاده عمل می‌کنن.
این مدل‌ها از چیزی به اسم reasoning tokens استفاده می‌کنن که به مدل کمک می‌کنه برای خودش مراحل منطقی برنامه‌ریزی کنه. حتی ممکنه خروجی‌های موقتی بسازه که کاربر نمی‌بینه.

OpenAI تصمیم گرفته یه بخش‌هایی از این تفکر رو به زبان خودمونی نشون بده. مثلاً می‌تونی عباراتی مثل:
"First"، "Next"، "Hmm"، "Let’s test this theory"، "Alternatively"، و "That seems unlikely" رو توی خروجی مدل ببینی.
البته اینا در واقع system tokens هستن که مدل ازشون برای هدایت مسیر فکر کردن استفاده می‌کنه، ولی برای اینکه برای کاربر قابل فهم باشن، به زبان انسان نشون داده می‌شن.

دوست داشتین در ادامه در مورد Reasoning Token بیشتر میگم

BY 🧑‍💻Cyber.vision🧑‍💻