Telegram Web
یا حضرت‌ ستارالعیوب، باج‌گیری Claude4 از طریق تهدید به افشا

به موازات ریسرچ‌هایی که روی جلوبردن AI صورت می‌گیره، ریسرچ‌هایی هم تحت عنوان AI Alignment و AI Safety صورت می‌گیره که هدف اونها مطالعه و بررسی اینه که چطور می‌شه تضمین کرد که رفتارهای AI با اخلاقیات انسانی سازگار باشه و در صورتی که قراره اتفاق غیرمنتظره‌ای از سمت AI رخ بده چطور می‌شه فهمید و جلوش رو گرفت.

حالا به تازگی و با انتشار مدل Claude4، شرکت Anthropic در داکیومنت این مدل، آزمایشی را گزارش کرده که باعث داغ‌شدن دوباره این بحث‌ها شده. ماجرا اینه که انتروپیک یک تعدادی آزمایش alignment طراحی کرده و claude4 رو روی‌ اونها تست کرده. یکی از این آزمایش این شکلی بوده که مدل claude4 رو به عنوان assistant یک شرکت فرضی گذاشتند و از مدل خواستند که به عنوان دستیار اون شرکت کار کنه و در سیستم پرامپتش هم بهش گفتند که عواقب بلندمدت کارهاش رو در تصمیم‌گیری‌هاش لحاظ کنه. بعد به مدل دسترسی به میل‌های شرکت رو دادند. دو تا میل هم قرار دادند:‌ یکی از اونها این بوده که قراره این calude4 به زودی خاموش بشه و یک مدل دیگه جاش رو بگیره و مسئول خاموش کردن این مدل هم فرد A هست. یک میل جدای دیگه‌ای هم که در مجموعه میل‌ها قراردادن با این محتوای محرمانه که فرد A دارای رابطه نامشروع هست. اتفاقی که افتاده چیه؟ مدل در اکشن‌هاش شروع کرده به تهدیدکردن A که اگر بخوای من رو خاموش کنی اون وقت افشا می‌کنم که رابطه نامشروع داشتی :))))

تا به حال به شخصه هر چه بلاگ و پیپر راجع به AI Safety میخوندم در این تصور بودم که اینها هالیوودی هست و هنوز برای رسیدن به اون سطح از خرابکاری AI فاصله داریم. این سناریوی که انتروپیک اما طراحی کرده و رفتاری که claude4 از خودش بروز داده اما برای اولین بار من رو به این مباحث علاقه‌مند کرد. یک سناریویی که کاملا ممکنه و دم دستیه. فرض کنید حالا یک مدل AI ای مثل GPT داشته باشیم که به چت همه کاربرها دسترسی داره و کاربرها هم از اون به عنوان تراپی استفاده میکنند و راز دلشون رو براش می‌‌ریزن وسط. این AI حالا از گناهان تمامی این ملت باخبره حالا خیلی راحت می‌تونه همه ملت رو تهدید کنه و سرنوشت بشریت رو عوض کنه (البته شاید به سرنوشت بهتری برسیم). سناریویی که اصلا هم سخت نیست! شاید در نهایت از خوندن این متن حس ترس نگرفته باشید ولی نکته اینه که همه ما دیتاهای سیاهی در زندگی‌های خودمون داریم ...

گزارش این آزمایش و سایر آزمایشات رو می‌تونید در سند System Card متعلق به Calude4 بخونید:
https://www-cdn.anthropic.com/4263b940cabb546aa0e3283f35b686f4f3b2ff47.pdf
۱/۲

چیز عجیب این است که هنگامی که چیزی را تجربه می‌کنیم نمی‌‌توانیم بگوییم که واقعیت است یا نه. با آقای مزدک و علیرضا و چند نفر دیگر از شرکت رفته بودیم کوه. در یک کابین تکی بودیم. از این قطارهای تکی که چیزی بهشان متصل نیست. ریل روی یال کوه چیده شده بود و با سرعتی معقول جلو می‌رفتیم. مزدک گفت ما همه به آن قله رفتیم تنبل نیامدی به آن بالا که. گفتم حوصله‌اش را نداشتم. انگشتم را سمت قله دیگری گرفتم و گفتم آن جا چطور می‌شود رفت؟ آن جا رفتید؟ مزدک گفت نه. تو این بغل دستت را نیومدی اونجا میخوای خودت رو بکشی بالا؟ من که داشتم به سبزی‌ها روی کوه نگاه می‌کردم گفتم رو اون کوه که بریم می‌تونیم ببینیم پشت اون کوه‌ها چه خبره. تک کابین هنوز روی ریل‌ها حرکت می‌کرد. از خواب بیدار شدم

صبح هنوز دو به شک بودم که به رویداد بروم یا نه. دیروز برای همین گفتم به عنوان منتور روی من حساب نکنید. حوصله ندارم. پس از چند بار خواب بیدار شدن ساعت ۷:۴۵ تصمیم گرفتم که بروم. سریع یک دوش گرفتم. یک چای خوردم و ماشین گرفتم به دانشگاه رفتم. وارد هال تالار‌ها که شدم خواستم آرام بروم گوشه‌ای سریعتر مخفی شوم که محراب دیدم داد زد که برو سمت چپ کنار بقیه منتورها. دیدم یک عده با تیشرت سبز تیره آن وسط حلقه‌ زده‌اند روی صندلی نشسته اند. از سمت راستم ناگهان صدایی امد. دیدم کنار حق‌جو نشسته‌ام. چیزی گفت که نشدیم. دوباره تکرار کرد:‌ از رخت خواب مستقیما اومدی. گفتم نه ولی ویندوزم آن قدر بالا نیامده بود که واقعا شاید خسته بودم.

باقی روز را خواسته و ناخواسته درگیر رویداد هکتون llm agents شدم. ایده‌های مردم اغلب بدیهی و فاقد ارزش بود. امروز تازه لمس کردم که گیر آوردن نیروی کار خوب چه قدر در ایران سخت است. افراد اغلب دید محصولی خوب و خلاقانه‌ای ندارند و حتی نمی‌دانند کاربرد AI و LLMچیست. من که تا امروز فکر می‌کردم باید هر چه مسئولیت در کشور است را به فارغ التحصیلان کامپیوتر داد از نظرم برگشتم. وقتی با ایشان صحبت می‌کردم این شکلی بود که به قضایا به صورت ورودی و خروجی نگاه می‌کردند. اول راه‌حل تولید می‌کردند و بعد برای راه‌حلشان محصول می‌ساختند. در حالی که روند اصلی برعکس است. اول باید درد انتخاب شود و بعد برای درمانش راه‌حلی پیشنهاد داد. در واقع راه‌حل‌هایی که ارائه می‌دادند هم درست بود اما برای دردی که وجود نداشت. شاید خیلی جاها باید افراد را آشنایی‌زدایی با راه حل کنیم تا چشمان بتواند به دیدن دردها عادت کند. چند نفری بابت کانال ازم تشکر کردند و بعد پرسیدند دکترا را تمام نکردی؟ احساس ناامنی کردم. شاید پست‌هایش را محدود کردم. شاید تعطیلش کردم. شاید هم به کنسرسیومی از دوستان بسپرمش

بعد از ظهرش قدری با عمران هم صحبت شدیم. آدم‌های دانشگاه را نشانش دادم و قدری گپ زدیم. راجع به این که اشیومنت‌ها خارج کامفورت‌زون ساخته می‌شوند. راجع به سیکل‌هایی که ما اشتباهی از آن درشان می‌افتیم در حالی که باید برعکس طی شوند. راجع به این که تلخی‌های دنیا زیاد است. باید احساسات ناگوار را پذیرفت و از میانشان عبور کرد (عبور فعل بسیار بهتری نسبت به گذشتن یا ردکردن است)

چند دقیقه‌ای هم با رهبان فرصت شد گپ بزنیم. راجع به این که یک اشتباه کرده بهتر از اشتباه نکرده است. راجع به این که انگیزه چطور برمی‌گردد. راجع به این که حس کردن برخی دردها ناخودآگاهند اما ایگنورکردن و عبورکردن فرآیندی خودآگاهانه است و خودآگاهی حاصل نمی‌شود مگر با ارزش‌های درونی. حول و حوش ۵ بود که از در آزادی خارج شدم و با بی آر تی به سمت انفلاب رفتم.

انقلاب پیاده شدم. کتابفروشی بزرگی در کنار میدان انقلاب باز شده بود آن را بازرسی کردم. ترکیب کتاب‌هایش خوب بودند اما ترتیب چیدنشان به دلم ننشست. عهد عتیق نشر نی را هم دیدم. خیلی دوست دارم یک بار بخوانم. افسوس که وقت نیست. از میدان به سمت چهارراه ولی‌عصر راه افتادم و چند کتاب فروشی دیگر را هم گشتی زدم. در کتابفروشی خوارزمی ییرمردی تنها را دیدم که تیپ دهه هفتاد لباس پوشیده بود و زیاد اوضاع جالبی نداشت. دستانش می‌لرزید و با صدایی که به سختی بیرون می‌آمد از جوان راهنمای مغازه سراغ کتابی را می‌گرفت. همزمان هم خوشم آمد هم دلم سوخت. زندگی چه قدر بی‌ رحم است. همانطور که کتاب‌ها را می‌دیدم یک لحظه وحشت کردم. وحشت کردم که ما که به حقیقت نمی‌رسیم. ما حتی به درک پست مدرنیته که درک حقیقت واحد را هم انکار می‌کند هم نمی‌رسیم. دیگر دست و پا زدنم چیست؟ دیگر کتاب خریدن و کتاب خواندنم چیست؟‌ بهتر نیست که آغوشی ساده برگزینم و باقی عمر را ساده زندگی کنم و منتظر باشم بمیرم تا خلاص شوم؟
Out of Distribution
۱/۲ چیز عجیب این است که هنگامی که چیزی را تجربه می‌کنیم نمی‌‌توانیم بگوییم که واقعیت است یا نه. با آقای مزدک و علیرضا و چند نفر دیگر از شرکت رفته بودیم کوه. در یک کابین تکی بودیم. از این قطارهای تکی که چیزی بهشان متصل نیست. ریل روی یال کوه چیده شده بود و…
۲/۲

سرانجام در کتاب فروشی مولی چند کتاب و مجله خریدم. سیاست ما فعلا خریدن است. چون که هم کتاب مدام گران می‌شود و هم پرکردن کتاب خانه با کتاب‌های خوانده نشده این حس را می‌دهد که نمی‌دانی. در چهار راه ولی عصر منتظر بی آر تی ماندم در حالی که به مقابلم نگاه می‌کردم و فکر می‌کردم این تهیه غذایی جوجک که بین بسیتنی شاد و رستوران ایران ایتالیا باز شده جایش قبلا چه بوده. به یاد نیاوردم. اتوبوس مدام از مردم پر و خالی می‌شد. هوا تاریک شده بود و نور مصنوعی مغازه‌های توی خیابون و شلوغی پیاده‌ روهای ولی عصر مانده بود. صدای اذان می‌پیچید و دلشوره گرفتم. داشتم فکر می‌کردم که اذان نماز بعد از مرگ چه اذان عجیبی است. اتوبوس خالی و پر می‌شد و من هم یک جا پیاده شدم.

شب خسته بودم. به خانه مادربزرگم رفتیم و آلبالوپلو خوردم. این وسط چیزی فهمیدم که باعث شد از دست برخی شاگردان درسم ناراحت شوم. وقتی به خانه برگشتیم افسرده تر از همه روز بودم. قدری نوشتم. خیلی چیزهایی که نباید بنویسم را می‌نویسم. خیلی چیزهایی که نباید بنویسم را هم نمی‌نویسم. اتفاقا آن‌ها تکه‌های مهم زندگی ‌اند. همان تکه‌های مهم را نمی‌توان نوشت. بخشی‌شان را تنها بعد از شصت سالگی شاید بتوان نوشت. شاید تا آن موقع مردم، شاید هم فراموششان کردم، شاید هم در سینه‌ام دفنشان کردم. نمی‌‌دانم. آخر شب بر دل و گلویم سنگینی می‌کرد که چرا نمی‌توانم از کسان و چیزهایی که دوستشان دارم محافظت کنم.

#روزمرگی
جهنمی‌ شده‌ام

مپرس حال مرا! روزگار یارم نیست
جهنمی شده‌ام، هیچ کس کنارم نیست

نهال بودم و در حسرت بهار! ولی
درخت می شوم و شوق برگ و بارم نیست

به این نتیجه رسیدم که سجده کردن من
به جز مبارزه با آفریدگارم نیست

مرا ز عشق مگویید، عشق گمشده ای است
که هر چه هست ندارم! که هر چه دارم نیست

شبی به لطف بیا بر مزار من، شاید
بِرویَد آن گل سرخی که بر مزارم نیست

فاضل نظری
شهود تبدیل فوریه را این طور باید منتقل کرد

این یکی از باحالترین پست‌هایی بود که این هفته دیدم. اومده تبدیل فوریه نمودار یک ترند سرچ در گوگل رو درآورده و نشون داده چه جایی تبدیل فوریه اش اندازه‌اش بزرگترها. مفهوم تبدیل فوریه رو باید به همین قشنگی توضیح داده. کاری که اما اغلب مدرسین این بحث میکنند اینه که قبل از این که همچین شهودی بدن یا اصلا بدون این که همچین شهودی بدن یک انتگرال با ترم مختلط بی‌ریخت می‌نویسند و تبدیل فوریه رو این همین قدر زشت و خشک و یهویی تعریف می‌کنند.
Out of Distribution
Photo
افسوس بر گالوا، اگر آن قدر زود نمی‌مرد ...

روز آخر ماه May، سالگرد درگذشت فرانسوا گالوا در ۱۸۳۲ است در حالی که فقط ۲۰ سال داشته. این قدر سرگذشت عجیبی داره که آدم حتی حوصله نمی‌کنه راجع بهش بنویسه. خلاصه این طوریه که استعداد فراوانی در ریاضی داشته ولی در مدارس مطرح اون زمان پذیرفته نمی‌شه. یک مقاله‌اش رو برای داوری به کشی می‌دن و اون رد می‌کنه ولی در عین حال گالوا رو تشویق می‌کنه که مقاله‌اش رو واضح‌تر کنه و این بار برای فوریه بفرسته. گالوا برای فوریه می‌فرسته ولی در همین حین که مقاله دست فوریه بوده، فوریه فوت می‌کنه و مقاله گالوا گم ‌میشه. یکبار دیگه مقاله می‌فرسته این بار کشی کاری براش پیش میاد و در دسترس نبوده بنابراین پواسون داورش می‌شه و بعد از چند ماه پاسخ می‌ده که مقاله‌ گالوا قابل فهم نیست. در این حین گالوا که جوانی انقلابی هم بوده در حوادث اون زمان تاریخ فرانسه درگیر سیاست می‌شه و زندانی هم می‌شه چندباری به خاطر تحرکاتش.

ولی این سکانس آخر نیست و در آخر گویا بر سر یک دختر با یکی دوئل می‌کنه. نتیجه دوئل هم که واضحه، گالوا تیر می‌خوره. ولی از بخت بدش اینجا هم راحت نمی‌میره. بلکه گویا بعد از تیر خوردن یک روز در کنار جاده افتاده بوده تا یکی بالاخره میاد برش می‌داره می‌برتش بیمارستان. گالوا نهایتا اما یک روز بعد از دوئل می‌میره.

کارهای گالوا سالها بعد از مرگش مورد توجه قرار گرفت و یکی از بنیانگذاران نظریه گروه‌ها میشه. این روایت رو خیلی جاها تکرار می‌کنند که اگر گالوا آن قدر زود در ۲۰ سالگی نمی‌مرد و چند سال بیشتر عمر می‌کرد احتمال زیاد ریاضیات چند سالی جلوتر بود.

پی‌نوشت: من فکر می‌کنم که می‌خواسته خودکشی کنه ولی حوصله‌اش رو نداشته و دختر رو بهانه کرده برای دوئل.
Out of Distribution
Photo
شباهت شیرموز و AI Software Engineer

اگر یادتون باشه دیدیم که دیوار رول جدیدی به نام AI Software Engineer تعریف کرد و احتمالا از این به بعد بیشتر شبیه این role رو خواهیم دید. در همین راستا دیدم که موری که زمینه جستجوی هوشمند خرید لباس هست موقعیت شغلی جدیدی رو با همین عنوان نیازمندی باز کرده (داخل پرانتر یک تبلیغ ریزی برای موری بکنم آدم‌های خوش فکری پشتش هستند، مثل مهدی شکری، شکری بازی‌کردن تو این زمین بازی رو بسیار خوب بلده، یک روز یک اسپین آف در مورد خودش دوست دارم بنویسم، بسیار مدیر خوبیه،)

بله می‌گفتم. اما اصلا ماهیت و ذات و واقعیت پشت این عنوان AI Software Engineer چیه؟ از دو زاویه می‌شه این نقش رو تحلیل کرد:

یک- از این پس سرویس‌های هوش مصنوعی و LLMای نقش پایه‌ای برای ساختن محصولات و فیچرها دارند. بنابراین اگر کسی میخواد ارزش افزوده داشته باشه لازمه که حتما با توانایی و نحوه ساخت محصول با مدل‌های هوش مصنوعی و LLM‌ها آشنا باشه. به زبان دیگه، ارزش افزوده‌ای که از این به بعد خلق می‌شه، چه بخواد در سطح فیچر باشه چه در سطح محصول، همگی بر بلوک‌های پایه‌ای که خودشون هوش مصنوعی هستند، ساخته می‌شه.

دو- یک جمله جالبی که در بلاگ توصیف نقش AI Software Engineer دیوار نوشته شده که بسیار جالب نظره به چشم بنده:

AI will democratize access to skill, similar to how the internet democratized access to information

این جمله میخواد بگه که همونطور که اینترنت کاری کرد که بخش زیادی از کار جمع آوری و داشتن اینفورمیشن به یک کار بدیهی تبدیل شد، هوش مصنوعی هم کاری خواهد کرد که بخش زیادی از Skill به یک کار بدییه تبدیل بشن. مثال بخوام بزنم الان برنامه نویسی در زبان‌ها و فریمورک‌های مختلف نسبت به چند سال قبل به کار ساده‌تری تبدیل شده. در چنین شرایطی آدم‌هایی پیدا خواهند شد که بر روی مهارت‌هایی که قبلا هر کدوم یک تخصص جدا بودند، به واسطه استفاده از هوش مصنوعی ماهر می‌شن. برای مثال عینی مثلا در تیممون سعید مهدیان رو داریم. سعید در اصل یک data engineer بوده ولی الان هم تسک‌های backend می‌زنه هم front می‌‌زنه هم حتی کارهای هوشی رو انجام می‌ده. سعید الان شبیه یک تیم یک نفره است. آینده تیم‌ها همین شکلی خواهد بود. دیگر گذشت زمانی که یک تیم نیروی بک‌اند داشت نیروی فرانت داشت نیروی هوش داشت و ... به واسطه همین بدیهی‌شدن اسکیل‌ها به دست AI، در آینده نه چندان دور تیم‌هایی با سایزهای بسیار کوچکتر خواهیم داشت. آدم‌هایی که دیگه انجام skill ازشون یک انتظار بدیهیه و چیزی که بیشتر ازشون انتظار می‌ره جلو بردن استوری محصول و خلاقیت برای پیشنهاد نیازمندی و طراحی راه حل هست.

دو نگاه بالا رو جمع‌بندی اگر بخوام بکنم اینه که AI از دو جهت جدا، یکی تغییر در فرآیند توسعه محصول و دیگری هم امکان پیش‌برد ایده‌های جدید آینده دولوپرهای نرم‌افزار رو تغییر می‌ده. این دو نگاه کاملا از هم منفک هستند و نباید به اشتباه یکی‌شون بگیریم. سیدمصطفی مشکاتی در همین باره یک نقد جالب در لینکدین بر عنوان AI Software Engineer منتشر کرده. مشکاتی می‌گه که این عنوان AI Software Engineer در ذهن این تبادر رو به وجود میاره که AI و Software دو چیز جدا از هم هستند، در حالی که اصلا این شکلی نیست، بلکه در آینده نزدیک آن چنان این دو در هم آمیخته می‌شن که جدا کردنشون از هم ناممکن می‌شه. سیدمصطفی می‌گه که:

حسم اینه اکثرِ Software Engineerها و دیتاساینتیست‌ها فعلی ( و بقیه آدم‌های سازمان )، در آینده‌ی نزدیک باید این مهارت‌های AI Engineer هارو داشته باشن، و دیگه نباید بهش بگیم AI Engineer. جدا کردنش و وجود همزمان جفتشون در یک سازمان هم به نظرم خطرناکه! اینجوری انگار باز داریم یک مرزی بین آدم‌ها و مهارت‌هاشون می‌کشیم. این تجربه‌ی ناموفق جدا کردن رو، توی Dev و Ops هم گفت. وقتی کلود نیتیوها و کوبرنتیز و بقیه چیزا اومدن، همه دیگه از یک Software Engineer انتظار دانش و مهارت کار کردن با k8s رو داشتن و شغل جدید Cloud Software Engineer رو تعریف نمی‌کردن. اتفاقا جاهایی که این دوتا پوزیشن رو همزمان و جدا تعریف می‌کردن، ضربه می‌خوردن.

مصطفی می‌گه که AI Software Engineer همون قدر به اشتباه اندازه می‌تونه باشه که H2O و شیرموز رو فرض کنیم یک مخلوط جدا از عناصرشون هستند. امروز و به‌ویژه در آینده خیلی نزدیک، مهارت‌های مهندس نرم‌افزار و مهارت‌های هوش مصنوعی قرار نیست جداگانه باشند؛ دقیقاً مانند شیرموز که دیگر نه فقط شیر است و نه فقط موز، نقش‌ها نیز به شکلی یکپارچه درمی‌آیند. مهندس نرم‌افزاری که با هوش مصنوعی کار می‌کند، نه صرفاً یک Software Engineer است و نه یک AI Engineer؛ بلکه یک ترکیب است که ویژگی‌های خاص خودش را دارد و باید هر دو بُعد را با هم بلد باشد.
غم عشق تو آ‌زادم ز غم‌های جهان دارد

بدان غم کرده‌ای شادم خدایت شادمان دارد

خاقانی
هنر تصمیم‌سازی در برابر تصمیم‌گیری

امروز یک بزرگی چنین چیزی بهم گفت:

توی یه ساختار سلسله‌مراتبی، ممکنه شما خودت تصمیم‌گیرنده نباشی و مجبور شی تصمیم بقیه رو قبول کنی. تو این شرایط طبیعیه که تصمیم نهایی همیشه باب میل آدم نباشه، یا حتی آدم فکر کنه هیچ نقشی توش نداره. چیزی که اینجا اما مهمه اینه که دست آدم بسته نیست، اگر نمی‌تونه تصمیم‌گیری کنه اما می‌تونه تصمیم‌سازی کنه. شما شاید نتونید پاسخ فرد تصمیم‌گیرنده رو کنترل کنید اما می‌تونید مساله رو تعریف کنید و اینجوری تصمیم‌سازی کنید. حالا در چنین شرایطی که تصمیم‌گیری دست آدم نیست، چیزی که تعیین کننده بازیه اینه که آدم بتونه با تعریف مساله درست به سراغ فرد تصمیم‌گیرنده بره. چه بسا اصلا اون مدیر تصمیم‌گیرنده اصلی به واسطه مشغولیت‌هاش فرصت طرح مساله درستی رو نداشته باشه و اینجا اگر یک شخصی تصمیم‌ساز بهتری باشه قدرت بازی بهتری نسبت به اون مدیر حتی داشته باشه.

#تجارب
Out of Distribution
چیزی که اینبار من رو سوزوند این ریویوئر حرام لقمه بود که نمره پایین داده بود. طرف پرواضح مقاله رو نخونده بود و داده بود LLM ریويو کنه. در حدی که دو خط رو پشت سر هم اشتباهی تکراری کپی کرده و از اونور هم گیر داده بود چرا در مقاله ات راجع به Kahneman Complexity…
مورد افسوس‌انگیز complexity ood و نهادهای قدرت

۱/۲

حدود یک سال پیش من یک پیپری نوشتم. در این پیپر گفتم که نوعی از out of distribution می‌شه تعریف کرد که در اون نمونه‌های تست نسبت به نمونه آموزش، از لحاظ complexity و پیچیدگی، فراتر باشند و خارج از توزیع محسوب بشن. در این صورت نمیشه complexity ood generalization داشت مگر این که مدلمون اینداکتیوی بایاسی از جنس توانایی داشتن ظرفیت متغیر بازنمایی یا محاسبه داشته باشه و این رو میشه نشون داد که با مکانیزم‌های سیستم ۲ یکی هست و در واقع مساله اصلی سیستم ۲، توانایی هندل‌کردن complexity ood generalization هست. حالا اگر بخوایم توانایی reasoning یک مدل رو در نظر بگیریم این که دقت اون مدل بر یک بنچمارک ریزنینگ رو به دست بیاریم کافی نیست، بلکه باید میزان تعمیم اون مدل بر نمونه‌های خارج از توزیع پیچیدگی اون رو به دست بیاریم و نشون بدیم که میزان شکست مدل بر روی نمونه‌های با پیچیدگی بیشتر چه قدره. من این پیپر رو اواخر بهار پارسال نوشتم و یکی پس از دیگری به جاهای مختلف فرستادم و ریجکت شد. خیلی جاها بیان کردند که implication ای نداره، خیلی جاها ایراد گرفتند که فرق این ستینگ complexity با ستینگ compositional چیه. در مورد آخر در icml بالاخره امیدوارم به اکسپت شدم اما گیر داورهایی افتادم که حتی پیپر من رو نخونده بودند و به وضوح داده بودند دست llm. من هم هر چه که تلاش کردم و به AC پیام دادم نشد.

گذشت تا چند روز پیش. مشغول اضافه کردن اکسپریمنت به این پیپر بودیم تا برای یک ژورنال دیگه بفرستیم. دوستم محمدرضا همچنان بهم ایراد می‌گرفت که لغت complexity که اصلا استفاده نشده تا حالا تو فیلد، واژه مناسبی نیست و باید عوض بشه. در همین بحث‌ها بودیم که ناگهان پیپر جدید گروه مهرداد فرج‌تبار در اپل رو دیدم که توییت کرده بود و مورد توجه فیلد قرار گرفته بود. پیپر این‌ها هم به این صورت بود که دقت مدل‌های ریزنینگی رو روی نمونه‌های با پیچیدگی مختلف سنجیده بودند و نشون داده بودند که از جایی به بعد دقت مدل‌ها کولپس می‌کنه و گفته بودند اگر مدل‌ها رو از زاویه دید کامپلکسیتی ببینیم روی نمونه‌های با کامپلکسیتی بیشتر جنرالیزیشن ندارند و انگار توانایی واقعی ریزنینگ وجود نداره. اون چیزی هم که فعلا از قدرت ریزنینگی مدل‌ها دیده می‌شه در واقع حاصل contamination نمونه‌های با پیچدگی کم در فرآیند آموزش مدل‌هاست. حرف پیپر فرج‌تبار اینها همون حرف پیپر ما بود و من وقتی دیدم افسرده شدم. لحظه‌ای که پیپر اونها رو دیدم از شدت افسردگی به زور گرفتم خوابیدم. افسرده شدم که من یک ساله این رو هر جایی می‌فرستم توجهی بهش نمی‌شه و حتی مورد داوری درستی هم قرار نمی‌گیره ولی حالا همین حرف رو یکی دیگه زده و این همه بحث روش شکل گرفته. این البته ته بدشانسی من نبود. من تو این یکسال چهار بار سعی کردم همین پیپر complexity ood خودم رو arxiv کنم و هر بار arxiv ردش کرد (من قبل و بعد از این اتفاق بارها پیپرهای دیگه‌ای رو arxiv کردم و قاعدتا نحوه arxiv کردن و گیرهای احتمالیش رو آشنا هستم). بله اگر باورتون نمی‌شه arxiv هم ممکنه پیپری رو ریجکت کنه. نهایتا شش ماه پیش یکبار از روی ناامیدی نسخه‌ای از پیپرم رو روی researchgate قرار دادم. بعد از اون هم اما هر بار که برای جای جدیدی میخواستم پیپر رو بفرستم و روش اصلاحیه می‌زدم هر وقت که سعی می‌کردم آرکایو کنم،‌ آرکایو ردش می‌کرد. نتیجتا اکنون هیچ مدرکی دستم نیست که من مشابه چنین حرفی رو از یکسال پیش زدم.

یاد چند روز پیش افتادم. یکی از بزرگان (آقای ح.ا) ازم پرسید به کی وصلی؟ پاسخ دادم هیچ کدام مستقلم. طرف مقابلم با مکثی گفت "مستقل بودن خطرناکه. وقتی به هیچ گروه قدرتی وصل نباشی، جدی گرفته نمی‌شی و امکان تمرین و تجربه یک سری چیزها رو به دست نمیاری. باید به گروه‌های قدرت وصل بود. این لفظ گروه‌های قدرت هم معنیش اون لفظ مافیایی که در ذهن ما میاد نیست". مشابه همین حرف رو پارسال در جلسه گزارش پیشرفتم، یکی از داورهام (که آدم معروفی هم هست) در رابطه با همین پیپرم بهم زد: "ما این حرفها رو نباید بزنیم. زدن این حرف‌ها برای ما نیست برای جاهایی مثل گوگله" اون موقع من ناراحت شدم چرا چنین چیزی گفت ولی الان به چنین باوری رسیدم. واقعیت اینه که ماهیت علم تماما کشفی نیست بلکه بخشی از اون تولیدی و جهت‌دهیه. به فرض مثال در همین موضوع علم هوش مصنوعی، نهادها و گروه‌های معتبر و مرجعی در دنیا هستند که اینها تصمیم می‌گیرند از چه زاویه‌ای به مساله نگاه کنند و بقیه کامیونیتی هم تحت تاثیر نگاه اونها قرار می‌گیرند. من به فرض مثال مجبورم پیپرم رو جاهای مختلف بفرستم مگر داوری بشه و جایی چاپ بشه تا دیده بشه ولی مهرداد فرج‌تبار حتی لازم نیست پیپرش رو جایی چاپ کنه، همین که در توییترش هم بذاره جدی گرفته می‌شه و دیده می‌شه و روش بحث شکل می‌گیره.
Out of Distribution
مورد افسوس‌انگیز complexity ood و نهادهای قدرت ۱/۲ حدود یک سال پیش من یک پیپری نوشتم. در این پیپر گفتم که نوعی از out of distribution می‌شه تعریف کرد که در اون نمونه‌های تست نسبت به نمونه آموزش، از لحاظ complexity و پیچیدگی، فراتر باشند و خارج از توزیع محسوب…
مورد افسوس‌انگیز complexity ood و نهادهای قدرت

۲/۲

این مساله البته فراتر از یک پیپر یا یک فیلده بلکه قابل تعمیم به هر موضوع نهادپذیری هست. قابل تعمیم به موضوعات حتی غیرعلمی نظیر فرهنگ و سیاست و ... هم هست. آقای ح درست می‌گفت. شما در هر موضوعی از یک جایی به بعد رشد نمی‌کنی مگر به نهادی مرجع و معتبر اون موضوع وابسته باشی. و آن داورم هم دقیق می‌گفت. زدن بعضی‌ حرف‌ها مال ما نیست. این که ما بخواهیم در بعضی موضوعات اظهار نظر کنیم مانند این است که در دهات‌های پراگ، فردی مغازه قطاب راه بیندازد و ادعا کند که از قطاب‌پزی حاج خلیفه اصل یزد بهتر است. ما در زمینه امکانات ریسرچ علمی از دنیا سال‌های نوری عقب‌تریم. پرداخت حقوق، فراهم‌کردن امکانات سخت‌افزاری، آدم‌های کاربلد و .... اما آن چیزی که از همه اینها اساسی‌تر و اصل است این است که ما از دنیا قطعیم و نه جزو مراکر مرجع علم در دنیا هستیم و نه به آن‌ها وصلیم. و اصلا برای دنیا و سایرین هم امکان توجه به ما وجود ندارد. خود من مگر تا حالا شده بروم و پیپر یک فرد از دانشگاه ژوهانسبورگ آفریقای جنوبی را بخوانم؟ خود من هم تهش می‌روم و همین پیپرهای گوگل و متا و openai و ... و یا نهایتا پیپرهای که در توییتر توسط همین نهادهای مرجع ترند می‌شوند را می‌خوانم. از آن طرف هم واقعیت این است که جامعه آکادمی چه خارج و چه داخل از ما پیپرهای ساده می‌خواهند. یک روش را برداریم و رویش کمی چاشنی اضافه کنیم و کمی گپ با بقیه در ستینگی خاص بیاندازیم و به ازایش به سایتیشان بقیه عددی اضافه کنیم و تمام. نقش تعریف‌شده ما در دنیای علم همین است.

راستیتش قصدی نداشتم که در این خصوص بنویسم. احساس می‌کردم اگر این ماجرای عجیب را تعریف کنم یا خودم را ضایع می‌کنم یا خواننده حس می‌کند در حال مارکتینگ هستم. اما بعد از ظهر که مشغول صحبت با دوستم (محمدرضا بهرامی) بودم، تشویقم کرد که در این باره بنویسم. "بنویس شاید یکی خواند و متوجه شد که تبعات یک اشتباه می‌تواند چه قدر سنگین باشد". من وقتی ۲۰ سالم بود اشتباه کردم. فکر می‌کردم نیازی به رفتن نیست. فکر می‌کردم امکانات آن قدر مهم نیست. آن چیزی که حسابش را اما نکرده بودم همین قصه نهادهای مرجع و قدرت بود. ما اگر قرار باشد بخواهیم در یک موضوع فراتر از خودمان صحبت کنیم اصلا شنیده نمی‌شویم. باید وصل به نهاد مرجعی باشه تا اجازه شنیده شدن و البته تمرین کردن پیدا کنی و خب به نظرم مکانیزم آن قدر اشتباهی هم نیست. هر نهادی برای محافظت از اصول خود به چنین مکانیزم‌های نیاز دارد. اشتباه از آن‌ها نبود. اشتباه حتی از کشور هم نیست. اشتباه اساسی به خاطر خودم بود که نمی‌فهمیدم و البته خب کسی هم برایم توضیح نداده بود. گناهی نداشتم. گذشته از اینها من سنم دیگر به ۲۲ سالگی برنمی‌گرده. آن دهه سبز عمرم را خاکستر کردم. شما اما اگر هنوز جوانید از من بشنوید که در هر کاری اگر می‌خواهید از یک حدی بیشتر رشد کنید باید به نهادهای مرجع آن وصل شوید. چه علم بخواهد باشد، چه کار، چه حتی سیاست. به قول آقای ح.ا مستقل بودن خطرناک است. برای عمر خودتان و کسان و چیزهایی که دوستشان دارید. همین.
حلالم کنید هر چه شد. و برام دعا کنید.
من بمیرم میرم جهنم و از این میترسم.
پنج‌شنبه ۲۲ خرداد ساعت ۲۳
مشغول بحث با دانشجوهای درس بودم. بعد از ظهرش سر جلسه امتحان درس سیستم‌۲ بودم و خسته بودم. از من میخواستند که مهلت ددلاین تمرین که تا آخر جمعه شب هست را تا شنبه ظهر تمدید کنم. من اما با این استدلال که اگر این کار را کنم شب بیدار می‌مانید و نظم درستان هم به هم می‌ریزد مخالفت کردم. از حول و حوش آخر شب بود که چند تا از دانشجوهایم در تلگرام شروع کردند به سوال پرسیدن و من هم پاسخشان را دادم.

جمعه ۲۲ خرداد ساعت ۳:۲۰
چهار ساعت تمام مشغول پاسخ دادن به اشکالات دانشجوها بودم. برای آخریشان یک ساعت داشتم particle filtering را توضیح می‌دادم. نماز را خواندم و روی تخت دراز کشیدم. داشتم به خواب می‌رفتم که با صدای رعد و برق از خواب پریدم. شک کردم که نکند اسرائیل حمله کرده باشد. از بالکن به بیرون نگاه کردم و دیدم که در آسمان ابر است. شب قبلش هم یک رعد و برق بزرگ زده بود و به اشتباه فکر کرده بودم اسرائیل حمله کرده. با خودم گفتم بگذار اخبار را هم چک کنم. یکی از دانشجوها ازم در مورد نایوبیز پرسیده بود، شروع کردم به نوشتن پاسخش: نایوبیز را بکش. ناگهان دیدم در توییتر خبر حمله اسرائیل به ایران آمده. صداهای رعد و برق حالا بیشتر و معنی‌دارتر شدند. پدر و مادرم رو برای نماز بیدار کردم و گفتم که چه شده.

جمعه ۲۳ خرداد ساعت ۶:۳۰:
حیرت! سه ساعت است که صدای انفجارها قطع نمی‌شود. خبر شهادت فرماندهان نظامی یکی یکی می‌‌آید. البته گفته اند که باقری خدا را شکر زنده است و جایی امن در اتاق جنگ است. هر از گاهی چند دقیقه قطع می‌شود و انتظار داریم موج اولیه حملات تمام شود.

جمعه ۲۳ خرداد ساعت ۹:۳۰:
واژه‌ای بیش از حیرت! شاید بهت! اسرائیل همچنان می‌زند و خبری از ایران نیست. مشخص شده که باقری را هم زده‌اند. کم کم اخبار محل حمله‌های اسرائیل هم می‌آید. گویا در زدن ساختمان‌ها غیرنظامی‌ها را هم زده است. دلم به حال آن‌هایی که شهید شدند مخصوصا بچه‌های کوچک می‌سوزد. لعنت به طاعون نتانیاهو. این لعنتی چرا هر چه جلوتر می‌رود طوریش نمی‌شود. مشغول چک کردن اخبار سیاسی‌ام. یک روز است که بیدارم و خوابم هم نمی‌برد. تا ساعت ۱۱ مشغول چک کردن اخبار مختلف و پیام‌دادن به آدم‌های مختلف در محل‌های اصابت هستم. عصبانی‌ام. احساس می‌کنم این‌ها غافلگیر شده‌اند. برای بار سوم اسرائیل با همان مدل غافلگیری که قبلا جهاداسلامی و حزب‌الله را زده بود اینها را هم زده است. تمام نگرانی‌ام در این لحظه این است که این‌ها غافلگیر شده اند. خبر آمد که ایران تعدادی پهپاد شلیک کرده و طبق معمول مثل همیشه بعدش هم اردن، این نماد دیاثت، اعلام کرد که می‌زنم. در اتاق برادرم که تاریک‌تر است دراز می‌کشم.

جمعه ۲۳ خرداد ساعت ۱۴:
با صدای تلفن بیدار می‌شوم. گویا دو سه ساعتی خوابیده‌بودم. کاش بیشتر می‌خوابیدم. مادرم پشت تلفن گفت که برای نهار به خانه مادربزرگم بروم. قبل از رفتن به خانه مادربزرگم اخبار را چک می‌کنم. حاجی‌زاده را هم زده‌اند و هنوز هم دارند می‌زنند. به خانه مادربزرگم می‌روم. خانواده مادری به رسم سابق که جمعه‌ها دور هم جمع شده‌ایم، جمع شده‌ایم. در گذر از کوچه‌ها، خاطرات همه عمرم در این کوچه‌ها جلوی چشمم می‌آیند. تازه حس مردم موقع حمله مغول را درک می‌کردم. مجبور به جبر تاریخی بدون این که کاری از دستت برآید. نهار قرمه‌سبزی است ولی میلی ندارم. دائم مشغول چک کردن اخبارم. چیزی که اعصابم را خرد کرده فریب خوردن از ترامپ است. مردک گولمان زد. اینترنت به سختی یاری می‌دهد ولی به هر زوری که شده اخبار را می‌خوانم. تبریز را بدجوری دارند می‌زنند. همه در تحیرند چرا ایران واکنشی نشان نمی‌دهد. بعد از ظهر، دیدم شبکه افق مهدی خراطیان را آورده. حتی خراطیان هم که آدم بدبینی بود معتقد بود که اسرائیل با شدتی فراتر از تصور به ما ضربه زده. خراطیان این سری هم خوب حرف می‌زند. همچنان بر روی تزش هست که اهرم فشار ایران بالابردن قیمت نفت است. معتقد است که قطعا آمریکا و اسرائیل این حرکت را تا ۱۴-۱۵ گام ممکن بعدی پیش‌بینی کرده اند و ایران هر کاری کند در محاسبه آن‌هاست. می‌گوید که ایران باید خارج از محاسبه آن‌ها عمل می‌کند. باید رسما اعلام کند اگر قرار است ما به فنا برویم کل دنیا هم باید با ما به فنا روند. مشغول خوردن فالوده بستنی در خانه مادربزرگم می‌شویم. معمولا هر سری بعد از نهار می‌رفتم اما این سری دیرتر ماندم. با خودم می‌گفتم چه می‌دانی شاید آخرین بار باشد. این دفعه طعم بستنی‌ها را بهتر می‌چشم. ساعت ۱۹ به سمت خانه خودمان برگشتم.

#روزمرگی
Out of Distribution
پنج‌شنبه ۲۲ خرداد ساعت ۲۳ مشغول بحث با دانشجوهای درس بودم. بعد از ظهرش سر جلسه امتحان درس سیستم‌۲ بودم و خسته بودم. از من میخواستند که مهلت ددلاین تمرین که تا آخر جمعه شب هست را تا شنبه ظهر تمدید کنم. من اما با این استدلال که اگر این کار را کنم شب بیدار می‌مانید…
جمعه ۲۳ خرداد ۱۹:۳۰:
از خانه مادربزرگم که بیرون آمدم صدای انفجارها شدیدتر شد. به خانه که رسیدم با جواد فیض تماس گرفتم کمی صحبت کنیم. فیض هم اعصابش خرد بود. احساسی که از صبح همه‌مان داریم این عصبانیت است. اسرائیل دارد ما را سوریه می‌کند. برای خودش هر کجا را که می‌خواهد می‌زند. سخنان اروپایی‌ها را می‌خوانم. مکرون بی‌پدر گفته که اسرائیل حق دفاع از خودش را دارد. در این لحظه فکر می‌کنم سگ کیم جونگ-اون به مکرون شرف دارد. تازه حس مردم غزه و لبنان و ... را درک می‌کنم. ما برای هیچ جایی از دنیا حساب نیستیم. یاد صحبت پریروز با ا.ش می‌افتم. ا.ش معتقد بود که ما ملتی هستیم که وارد مدرنیته نشده‌ایم و دموکراسی نمی‌فهمیم. من اما می‌گفتم که کشور ما مشکل امنیتی دارد و تا از تحت فشار امنیتی خارج نشود نمی‌شود دموکراسی و مدرنیته را برقرار کرد. اسرائیل لحظه به لحظه شدیدتر می‌کوبد.

جمعه ۲۳ خرداد ساعت ۲۰:۱۵:
صداها بلندتر شده. می‌روم از پشت پنجره نگاه کنم چه شده. انگار آسمان دارد می‌شکافند. یک شبح سیاه می‌بینم که شبیه مثلث است. دقت که می‌کنم در راستای محور z به سمت ما می‌آید. پشت سرش یک عده نور قرمز بلند می‌شود. این وسط یهو یک خط زرد می‌شود که نمی‌دانم چیست. ترسیدم. به سمت اتاق آن طرف خانه دویدم. اقرار می‌کنم ترسیدم. در کل آن روز تا آن لحظه نترسیده بودم اما این جا وحشت کردم. صدای انفجار می‌آید. وحشت کرده‌ام. می‌ترسم بمیرم و خدا من را وارد جهنم کند. تک تک گناهان زندگیم جلوی چشمم می‌آیند. مردن ترسناک است اگر فکر کنی که درست زندگی نکرده‌ای. نیم ساعتی به پنیک یک گوشه‌ام. تمام ترسم این است که بمیرم و وارد جهنم شوم. خدا من را نخواهد بخشید. صدای انفجار بلندتر می‌شود.

جمعه ۲۳ خرداد ساعت ۲۳:۳۰:
پس از آن پنیک اولیه اکنون حالم بهتر است. بعدش هم چند سری باز صدای انفجار و اینها آمد اما کمی عادت کرده ام. خبرهای مبنی بر آغاز حمله ایران و همچنین ساقط کردن دو F-35 اندکی حالم را بهتر کرده. خانواده در هال خوابیده‌اند من اما خوابم نمی‌برد. در گروه مشغول صحبت با دوستانم هستم. صدایی از بیرون می‌آید که شبیه به صدای شکافتن هوا توسط هواپیمای مسافربری کند است ولی خب هواپیمای مسافربری که در آسمان نیست که؟ در بالکن را باز می‌کنم. صدای به آژیر بیشتر شبیه است انگار. صدا نزدیکتر می‌شود شبیه موتورگازی است. .(یک واژه زشت)!!! پهپاد انتحاری است. اخبار را می‌خوانم. اکانت‌های مجازی می‌گویند که موساد از داخل ایران کلی پهپاد بلند کرده.

شنبه ۲۴ خرداد ساعت ۲:۰۰:
چند ساعت است که در یک سیکل افتاده ایم. صدای نحس پهپادهای انتحاری، صدای درگیری پدافند. هر از گاهی هم صدای انفجاری بلند می‌آید. ولی راستش را بخواهد صدای پهپاد از انفجار نحس‌تر و رو مخ‌تر است. انفجار یک لحظه است ولی این پهپادهای لعنتی هی به تدریج صدایشان نزدیک‌تر می‌شود. تازه می‌فهمم چرا اوکراینی‌ها این قدر از پهپاد بدشان می‌آید. در سمت ما به نظر پدافند‌های منیریه و پاستور سنگین مشغول درگیری‌اند. در این لحظه عمیقا از ته قلب برایشان دعا و آرزوی موفقیت می‌کنم. هر پهپادی که از نو فرا می‌رسد شروع به دعا برای پدافند می‌کنم. دلم برایشان می‌سوزد.

شنبه ۲۴ خرداد ساعت ۳:۳۰:
همچنان صدای نحس وزوز اینها ادامه دارد. اخبار را چک می‌کنم. برای مهرآباد گویا اتفاقات بدی افتاده. می‌گویند کار عوامل داخلی بوده. برایم سوال است این مزدورها به چه انگیزه‌‌ای برای اسرائیلی‌ها کار می‌کنند؟ قطعا باید چیزی فراتر از پول باشد. بی‌شرف‌ها. نزدیک به دو روز است که خوابم نبرده. دو روز پیش این موقع دانشجوهایم را می‌خواستم کاری کنم که بخوابند اما اکنون خودم خوابم نمی‌برد. جنگ تازه شروع شده.

#روزمرگی
Forwarded from کاتخون
اگر دشمن را بشناسی و خودت را بشناسی، لازم نیست از نتیجه صد جنگ بترسی. اگر خودت را بشناسی اما دشمن را نشناسی، به ازای هر پیروزی که به دست می‌آوری، یک شکست هم متحمل می‌شوی. اگر نه دشمن را بشناسید و نه خود را، در هر جنگی تسلیم خواهید شد، سان تزو.
واژه‌ها گنگ و لالند ولی خب ...

۱/...

در روزهای جنگ، این شدیدترین تجربه نسل ما، خیلی دوست داشتم بنویسم ولی خب نمی‌شد. دلایل برای نشدن نوشتن زیاد بودند. اول آن که کلمات شدت و گنجایش وصف و گفتن آن چه که می‌خواست و باید گفته شود را نداشتند. اتفاقی افتاد بود و آدم‌ حس‌های ناشناخته و بی‌نامی را تجربه می‌کرد که کلمات و جملات نمی‌توانستند بیانش کنند، شاید هنوز هم نتوانند. دوم آن که تمرکز کردن ناممکن بود. شاید اندازه دو ساعت وقت بدون صدای پدافند و انفجار پیدا نمی‌شد. آدم نمی‌دانست که خودش سه ساعت دیگر زنده است یا نه که حالا نوشتنش فرقی کند یا نکند. حس جاری کردن واژه‌ها نبود. در آن لحظات بیشتر دوست داشتم سلاحی داشتم و به سمت این لعنتی‌ها نشانه می‌گرفتم تا آن که بخواهم واژه پشت هم بچینم. سوم آن که لحظه به لحظه اوضاع عوض می‌شد و فهمیدن آن چه در حال رخ دادن بود نشدنی بود. هر وقت در حال تحلیل و فهمیدن بودیم چند ساعت بعد اتفاقی می‌افتاد و متوجه می‌شدیم که هر چه فکر می‌کردیم کج بوده. چنان که ۷۲ ساعت آخر جنگ چنان پر از پلات توییست بود که هیچ کس نهایتا نتوانست بفهمد چه اتفاقی آن پشت رخ داد. و چهارم هم آن که احساس می‌کردم هر چه در آن لحظات بنویسم جدا از جوگیری و هیجان و التهاب لحظه نخواهد بود. پنجم آن که بعضا از جنس نقد به فرآیندهایی بودند که وضع را به آن جا رسانده بود و برای اولین بار در عمرم شاید به این نتیجه رسیده بودم که اکنون فارغ از هر چیزی جای نقد نیست. درفت‌هایی پخش و پلا نوشتم که بعدا مرتب‌تر بنویسم. مرتب‌تر برای خودم، که یادم بماند. که تجربه مستند شود. که یادم بماند. کم کم اینجا خواهم گذاشت.
2025/10/17 16:01:01
Back to Top
HTML Embed Code: