PyTorch Howsam

سلام ✋
چند روز پیش تصمیم گرفتیم که از سرویس‌های داخلی اجاره GPU استفاده کنیم. می‌خواستیم یک مدل Speech Recognition رو برای مدتی طولانی آموزش بدیم. یک سرویس داخلی انتخاب کردیم و رفتیم برای راه‌اندازی پروژه و آموزش مدل... این پروسه با اتفاق‌های متنوعی همراه بود که در ادامه به مهم‌ترین‌هاش اشاره می‌کنیم. طولانی هست، اما پیشنهاد میکنیم این گزارش رو مطالعه کنید.

* ثبت‌نام در سایت ساده بود و هزینه اجاره هم به‌صورت ساعتی حساب میشد. ما یک سرویس بر پایه 3090 با ساعتی 20 هزار تومان انتخاب کردیم.

* برای استفاده از سیستم، باید یک ماشین مجازی ساخته میشد. پروسه ساخت این ماشین مجازی کمی زمانبر هست و به گفته خودشون حدود 20 دقیقه‌ای طول میکشه. اما در عمل به نظر بیشتر از 20 دقیقه طول کشید.

* بعد از ساخت ماشین، باید استارت بزنید تا ماشین روشن بشه و بتونید کدتون رو اجرا کنید. هرچی استارت زدیم روشن نشد! 😄 از پشتیبانی پرسیدیم. گفت ماشین خرابه و من یک ماشین دیگه کانفیگ کردم که ساخته بشه. بازهم 20 30 دقیقه‌ای منتظر موندیم که ماشین جدید رو تحویل بدن! ماشین جدید روشن شد و خوشبختانه محیط ژوپیترلب بالا اومد. 📿

* کدهای آماده رو بدون مشکل آپلود کردیم.

* طبیعتا باید دیتاست رو دانلود کنیم که بتونیم آموزش مدل رو شروع کنیم. یک دیتاست 2.5 گیگ داشتیم که گذاشتیم دانلود بشه و دانلود این دیتاست 3 ساعت و 55 دقیقه طول کشید! 🤯 دیتاستی که لینک مستقیم داشت و اتفاقا با اینترنتی مثل همراه اول با سرعت بیش از دو مگ در کمتر از 30 دقیقه دانلود میشد. فکر کنید، چهار ساعت از شارژ شما برای دانلود یک دیتاست 2.5 گیگ میره. گاهی سرعت اینترنت این سرویس به حدود 40 کیلوبایت میرسید! مقایسه کنید با کولب که چنین دیتاستی رو زیر 1 دقیقه دانلود میکنه.

* کد آماده، دیتاست آماده و حالا بعد از چندساعتی درگیری می‌تونستیم آموزش مدل رو شروع کنیم. بخش ایمپورت فریمورک‌ها رو که اجرا کردیم، کتابخونه تورچ‌تکست رو نشناخت و داستان جدیدی شروع شد. چک کردیم، دیدیم که پایتورچ، تورچ‌ویژن و تورچ‌آئودیو نصب هست، اما تورچ‌تکست نصب نیست. خب شاید بگید که اشکالی نداره راحت میشه نصب کرد. اما نکته اینجاست که نسخه نصبی پایتورچ آخرین نسخه نبود و این دردسر نسبتا بزرگی بود. دو راه داشتیم: 1) نسخه مناسب تورچ‌تکست برای پایتورچ نصبی پیدا کنیم. یعنی باید سرچ میزدیم و تو آرشیوها دنبالش میگشتیم. 2) از اول پایتورچ رو به آخرین نسخه آپدیت میکردیم و در کنارش تورچ‌تکست هم نصب می‌کردیم. این دومی دانلود زیادی نیاز داشت و ما هم میترسیدیم که بازهم ساعت‌ها منتظر بمونیم. به همین خاطر رفتیم سراغ مورد 1. احتمالا این کار برای یک دانشجو یا تازه‌کار کمی مشکل هست. مقایسه کنید با کولب که هم فریمورک‌ها رو زود به زود آپدیت میکنه و هم مدام پرکاربردها رو اضافه میکنه. مثلا اخیرا هاگینگ فیس رو اضافه کردن.

* دیگه همه دردسرها تموم شده بود و تونستیم آموزش مدل رو پیش ببریم. حین آموزش مدل هم مشکل خاصی پیش نیومد.

* یک مشکل دیگه شارژ مصرفی و گزارش شارژ بود. شارژ باقیمونده رو باید از داشبورد میدیدیم. هر بار هم که رفرش میکردیم، زمان نسبتا زیادی طول میکشید که اطلاعات رو نشون بده. همچنین، میزان مصرف شارژ لحظه‌ای آپدیت نمیشد. بلکه، بعد از یکی دو ساعتی آپدیت میشد. یک بار انقدر آپدیت نشد که از 32 هزار تومان به 7- هزار تومان رسید! بعدا دیدیم که ایمیل هم میزنن که شارژ شما منفی شده. به نظرم این قسمت هم خوب نبود. توی کولب در حد دهم واحدهای محاسباتی تغییر میکنه و این حس به شما دست میده که کاملا روی شارژت کنترل و مدیریت داری.

* آخرین مورد هم اینکه، اگه کدت رو ببندی و آموزش و استفاده از سیستم رو قطع کنی، همچنان ساعتی مثلا 20 هزار تومان از شارژ کم میشه. اما اگه از طریق داشبورد بعد اتمام کار، ماشین رو خاموش کنی، مصرف شارژ تا 90 درصد کم میشه. یعنی اگه ساعتی 20 هزار تومان بدی، در صورت خاموش بودن ماشین، ساعتی 2 هزار تومان پرداخت میکنی. یعنی، فرضا اگه یک روز با سیستم کاری نداشته باشی و خاموش باشه، باید حدودا 50 هزار تومان پرداخت کنی. درصورتی که ماشین رو حذف کنی، دیگه پرونده پروژه، کد و دیتاست بسته میشه و شارژی هم پرداخت نمیکنی. این مساله، امکان استفاده مداوم رو مشکل میکنه.

خب نتیجه‌گیری اینکه، با این شرایط به‌صرفه نیست. همچنین، سرویس و خدمات حرفه‌ای نیست. یعنی، با اینکه پشتیبانی چت آنلاین داره و زود به زود هم جواب میدن و جی‌پی‌یوهای خوبی هم دارن، اما بازهم چون خدمات ایرادهای ذکرشده در بالا رو داره، نمیصرفه. ترجیح میدیم از کولب استفاده کنیم و واقعا کولب بسیار عالی هست.

اسم این سرویس رو عمدا نگفتیم که داستان نشه. امیدواریم که خود ارائه‌دهنده‌های سرویس ببینن اینو و بخونن و ایرادها رو اصلاح کنن. ✌️😊

@pytorch_howsam

www.tgoop.com/pytorch_howsam/478

3.17K viewsHowsam Support, Dec 16, 2023 at 10:48

سلام ✋
چند روز پیش تصمیم گرفتیم که از سرویس‌های داخلی اجاره GPU استفاده کنیم. می‌خواستیم یک مدل Speech Recognition رو برای مدتی طولانی آموزش بدیم. یک سرویس داخلی انتخاب کردیم و رفتیم برای راه‌اندازی پروژه و آموزش مدل... این پروسه با اتفاق‌های متنوعی همراه بود که در ادامه به مهم‌ترین‌هاش اشاره می‌کنیم. طولانی هست، اما پیشنهاد میکنیم این گزارش رو مطالعه کنید.

* ثبت‌نام در سایت ساده بود و هزینه اجاره هم به‌صورت ساعتی حساب میشد. ما یک سرویس بر پایه 3090 با ساعتی 20 هزار تومان انتخاب کردیم.

* برای استفاده از سیستم، باید یک ماشین مجازی ساخته میشد. پروسه ساخت این ماشین مجازی کمی زمانبر هست و به گفته خودشون حدود 20 دقیقه‌ای طول میکشه. اما در عمل به نظر بیشتر از 20 دقیقه طول کشید.

* بعد از ساخت ماشین، باید استارت بزنید تا ماشین روشن بشه و بتونید کدتون رو اجرا کنید. هرچی استارت زدیم روشن نشد! 😄 از پشتیبانی پرسیدیم. گفت ماشین خرابه و من یک ماشین دیگه کانفیگ کردم که ساخته بشه. بازهم 20 30 دقیقه‌ای منتظر موندیم که ماشین جدید رو تحویل بدن! ماشین جدید روشن شد و خوشبختانه محیط ژوپیترلب بالا اومد. 📿

* کدهای آماده رو بدون مشکل آپلود کردیم.

* طبیعتا باید دیتاست رو دانلود کنیم که بتونیم آموزش مدل رو شروع کنیم. یک دیتاست 2.5 گیگ داشتیم که گذاشتیم دانلود بشه و دانلود این دیتاست 3 ساعت و 55 دقیقه طول کشید! 🤯 دیتاستی که لینک مستقیم داشت و اتفاقا با اینترنتی مثل همراه اول با سرعت بیش از دو مگ در کمتر از 30 دقیقه دانلود میشد. فکر کنید، چهار ساعت از شارژ شما برای دانلود یک دیتاست 2.5 گیگ میره. گاهی سرعت اینترنت این سرویس به حدود 40 کیلوبایت میرسید! مقایسه کنید با کولب که چنین دیتاستی رو زیر 1 دقیقه دانلود میکنه.

* کد آماده، دیتاست آماده و حالا بعد از چندساعتی درگیری می‌تونستیم آموزش مدل رو شروع کنیم. بخش ایمپورت فریمورک‌ها رو که اجرا کردیم، کتابخونه تورچ‌تکست رو نشناخت و داستان جدیدی شروع شد. چک کردیم، دیدیم که پایتورچ، تورچ‌ویژن و تورچ‌آئودیو نصب هست، اما تورچ‌تکست نصب نیست. خب شاید بگید که اشکالی نداره راحت میشه نصب کرد. اما نکته اینجاست که نسخه نصبی پایتورچ آخرین نسخه نبود و این دردسر نسبتا بزرگی بود. دو راه داشتیم: 1) نسخه مناسب تورچ‌تکست برای پایتورچ نصبی پیدا کنیم. یعنی باید سرچ میزدیم و تو آرشیوها دنبالش میگشتیم. 2) از اول پایتورچ رو به آخرین نسخه آپدیت میکردیم و در کنارش تورچ‌تکست هم نصب می‌کردیم. این دومی دانلود زیادی نیاز داشت و ما هم میترسیدیم که بازهم ساعت‌ها منتظر بمونیم. به همین خاطر رفتیم سراغ مورد 1. احتمالا این کار برای یک دانشجو یا تازه‌کار کمی مشکل هست. مقایسه کنید با کولب که هم فریمورک‌ها رو زود به زود آپدیت میکنه و هم مدام پرکاربردها رو اضافه میکنه. مثلا اخیرا هاگینگ فیس رو اضافه کردن.

* دیگه همه دردسرها تموم شده بود و تونستیم آموزش مدل رو پیش ببریم. حین آموزش مدل هم مشکل خاصی پیش نیومد.

* یک مشکل دیگه شارژ مصرفی و گزارش شارژ بود. شارژ باقیمونده رو باید از داشبورد میدیدیم. هر بار هم که رفرش میکردیم، زمان نسبتا زیادی طول میکشید که اطلاعات رو نشون بده. همچنین، میزان مصرف شارژ لحظه‌ای آپدیت نمیشد. بلکه، بعد از یکی دو ساعتی آپدیت میشد. یک بار انقدر آپدیت نشد که از 32 هزار تومان به 7- هزار تومان رسید! بعدا دیدیم که ایمیل هم میزنن که شارژ شما منفی شده. به نظرم این قسمت هم خوب نبود. توی کولب در حد دهم واحدهای محاسباتی تغییر میکنه و این حس به شما دست میده که کاملا روی شارژت کنترل و مدیریت داری.

* آخرین مورد هم اینکه، اگه کدت رو ببندی و آموزش و استفاده از سیستم رو قطع کنی، همچنان ساعتی مثلا 20 هزار تومان از شارژ کم میشه. اما اگه از طریق داشبورد بعد اتمام کار، ماشین رو خاموش کنی، مصرف شارژ تا 90 درصد کم میشه. یعنی اگه ساعتی 20 هزار تومان بدی، در صورت خاموش بودن ماشین، ساعتی 2 هزار تومان پرداخت میکنی. یعنی، فرضا اگه یک روز با سیستم کاری نداشته باشی و خاموش باشه، باید حدودا 50 هزار تومان پرداخت کنی. درصورتی که ماشین رو حذف کنی، دیگه پرونده پروژه، کد و دیتاست بسته میشه و شارژی هم پرداخت نمیکنی. این مساله، امکان استفاده مداوم رو مشکل میکنه.

خب نتیجه‌گیری اینکه، با این شرایط به‌صرفه نیست. همچنین، سرویس و خدمات حرفه‌ای نیست. یعنی، با اینکه پشتیبانی چت آنلاین داره و زود به زود هم جواب میدن و جی‌پی‌یوهای خوبی هم دارن، اما بازهم چون خدمات ایرادهای ذکرشده در بالا رو داره، نمیصرفه. ترجیح میدیم از کولب استفاده کنیم و واقعا کولب بسیار عالی هست.

اسم این سرویس رو عمدا نگفتیم که داستان نشه. امیدواریم که خود ارائه‌دهنده‌های سرویس ببینن اینو و بخونن و ایرادها رو اصلاح کنن. ✌️😊

@pytorch_howsam

BY PyTorch Howsam