کدی که کاربر رو کلا از همه جا بلاک میکنه. یعنی دیگه حتی نمیتونه به کانال join بشه!

اینم با ChatGPT نوشته شده و بازم ۲ نفر گوز گوز میکردن که نمیشه و فلان و بیسار
تو بلد نیستی، دلیل نمیشه که نشه

زمانی که میخوام یه کدی که پیچیدگی داره رو سریع متوجه بشم داره چیکار میکنه، کد رو میدم به LLM و میگم یه فلوچارت با فرمت mermaid تولید کنه. بعد کدی که تولید شده رو میبرم این سایت :
https://www.mermaidchart.com

به سرعت و راحتی میشه flow کد رو مرور کرد

برای backup گرفتن از فایل ها (دیتابیس و ...) روی سرور به نظرم Cloudflare R2 Object Storage خیلی مناسبه. چون :

-تو پلن رایگان ۱۰ گیگ فضا میده که برای کسب و کار های کوچیک کافیه. حتی پلن پولیش هم مناسبه. هزینه ماهانه‌ش به ازای هر ۱ گیگ، ۰.۰۱۵ دلاره. یعنی برای ۱ ترابایت ماهی ۱۵ دلار هزینه داره.

-به چندین روش میتونید بهش دسترسی داشته باشید. هم از طریق worker های خود cloudflare و هم از طریق S3 API میشه به فایل ها دسترسی پیدا کرد.

-امنه! حقیقتا من ترجیح میدم دیتا روی سرویس‌دهنده های ایرانی نباشه. بقیه سرویس های خارجی هم که مثل آدمیزاد نمیذارن استفاده کنیم.

-موضوعی که برای من اهمیت داشت این بود که با کمک worker میتونم آپلود یکطرفه داشته باشم. چون خود R2 سطح دسترسی Write only نداره ولی به کمک worker میشه پیاده سازی کرد. یعنی تاریخچه بکاپ رو نشه با همون endpoint گرفت. یه جورایی مثل آپلود تلگرام. شما یه فایل رو با ربات تلگرام آپلود کنید و بعد حذفش کنید، دیگه نمیشه بهش دسترسی داشت. دیگه آپلود شده رفته. من امتحان نکردم که با message_id میشه فایل آپلود شده رو هم بازیابی کرد یا نه ولی مثاله دیگه.


-استفاده از گوگل درایو و ابزار های مشابهش هم کار رو سخت میکنه. با rclone میشه یه کار هایی کرد ولی کثافت کاریه. وقتی cloudflare این همه امکانات داره دیگه چه نیازی به کانفیگ های شخصیه؟

-بعد پرداخت توی cloudflare هم راحته. مثل گوگل و آمازون هفت خان رستم نداره. حتی کردیت کارت مجازی هم بگیری از صرافی ها میتونی پلن هاش رو بخری و ارتقا بدی!

یه برنامه وجود داره به نام Everything که احتمالا باهاش آشنا باشید. کل فایل های سیستم رو index میکنه و میتونید با سرعت خیلی بالایی بین فایل هاتون جستجو انجام بدید. من خیلی ساله میشناسمش و از زمانی که باهاش آشنا شدم، دیگه نتونستم بدون این با سیستم کار کنم. از لینک زیر می‌تونید دانلودش کنید :
https://www.voidtools.com/downloads/

یه بار خیلی سال پیش (شاید ۸-۹ سال پیش) یه نفر برای یه پروژه اومد بهم پیام داد و گفت یه برنامه میخواد که یه فیلتری رو توی تعداد زیادی فایل متنی سرچ کنه. بعد بهش گفتم خب با برنامه everything که میتونی چنین کار هایی انجام بدی. اصلا زندگیش عوض شد. ظاهرا روزانه خیلی از این مدل سرچ ها نیاز داشت انجام بده.

اگر داکیومنت هاش رو بخونید، کلی فیچر برای جستجو داره :
https://www.voidtools.com/support/everything/using_everything/

قشنگ میتونید انواع و اقسام فیلتر ها رو بذارید که توی محتوای متنی فایل ها هم جستجو انجام بده. چند بار من رو از گشتن بیش شونصد تا فولدر نجات داده. مثلا میدونستم یه اسکریپری رو نوشتم ولی اصلا یادم نمیومد کجا گذاشتمش. فیلتر رو گذاشتم روی پوشه پروژه ها، محدودش کردم به فایل های .py و آدرس سایت رو به عنوان content دادم و سریع پیدا کردم!

سایت زیر هر روز یه سوال ماشین‌لرنینگ تستی میذاره و بعد از اینکه جواب خودتون رو ثبت کنید، جواب درست رو نشون میده به همراه کمی توضیحات.
https://today.bnomial.com/

من این سایت رو چند سال پیش تو توییتر معرفی کرده بودم. الان با اضافه شدن زبان فارسی به notebooklm برام جالب بود ببینم اگر سوال و جواب رو بهش بدم، میتونه یه پادکست کوتاه درست کنه. نتیجه به نظرم جالب شد. هر چند وقت یکبار یکی از این سوالات رو به کمک notebooklm پادکست میکنم و تو این کانال میذارم.

#bnomial

1. Depth perception


🔗 https://www.youtube.com/watch?v=Ucp0TTmvqOE&t=8479s

🔗 https://arxiv.org/abs/2104.06456

🔗 https://en.wikipedia.org/wiki/Computer_stereo_vision

🔗 https://en.wikipedia.org/wiki/Structure_from_motion

🔗 https://paperswithcode.com/task/monocular-depth-estimation

🔗 https://www.amazon.com/Multiple-View-Geometry-Computer-Vision/dp/0521540518?crid=AWP4NU2X5RQJ&keywords=Multiple+View+Geometry+in+Computer+Vision&qid=1651776575&sprefix=multiple+view+geometry+in+computer+vision,aps,60&sr=8-1&linkCode=sl1&tag=bnomial-20&linkId=dab1e03b6a0ecab2258bd8132bbf87f4&language=en_US&ref_=as_li_ss_tl


#bnomial

1. Depth perception
#bnomial

2. A few regression models to start

🔗 https://www.upgrad.com/blog/types-of-regression-models-in-machine-learning/

🔗 https://en.wikipedia.org/wiki/Regression_analysis

🔗 https://www.analyticsvidhya.com/blog/2015/08/comprehensive-guide-regression/

#bnomial

2. A few regression models to start
#bnomial

اومدم و ابیات شاهنامه رو دادم به notebooklm که یه پادکست ازش بسازه.

بخش سیاوش رو انتخاب کردم و از ۲۲ بخشی که داشت، ۹ بخش اولش رو فقط دادم. فقط هم ابیات رو دادم. هیچ توضیحی اضافه نکردم.

میشه کل شاهنامه رو بخش بخش داد و به نظرم خیلی جذابه!

برای web scraping هایی بد قلق از pydoll استفاده کنید. مدت زیادی نیست که این ابزار اومده ولی خیلی قوی عمل میکنه. معمولا سخت ترین سیستم ها برای دور زدن سیستم های گوگله. من الان فارم gmail برای خودم راه انداختم و با همین کدش رو نوشتم. گوگل اصلا متوجه نمیشه. در صورتی که با playwright هزار مدل ژانگولر بازی باید در میاوردیم که گوگل متوجه نشه

https://github.com/autoscrape-labs/pydoll

میانگین امتیاز همه فیلم و سریال های IMDb در ژانر های مختلف.

رنگ قرمز (سریال ها)
رنگ آبی که زیر چارت قرمز قرار گرفته و فکر میکنم کاملا مشخصه (فیلم ها)

برای رسم این نمودار از دیتاست های زیر استفاده شده :
https://datasets.imdbws.com/title.episode.tsv.gz
https://datasets.imdbws.com/title.ratings.tsv.gz

نمودار قبلی رو میشه یه جور دیگه هم دید.

محور افقی : میانگین امتیاز فیلم ها در اون ژانر
محور عمودی : میانگین امتیاز سریال ها در اون ژانر

همونطور که از نمودار قبلی هم مشخصه، ژانر News توی فیلم ها میانگین امتیاز بالاتری داره.

امتیاز ها رو از دید Box Plot هم میشه دید که میانه امتیاز ها در ژانر های مختلف چه جوری بوده.

همبستگی بین ژانر ها چه جوری بوده؟

یه فیلم، معمولا چند تا ژانر داره. یعنی مثلا فیلم میتونه کمدی و اکشن باشه. این هیت‌مپ دقیقا داره همین رو نشون میده

روند میانگین امتیازات ژانر های مختلف در طول زمان

کدوم ژانر ها بیشترین تعداد فیلم و سریال رو به خودشون اختصاص دادن؟

یه H200 برای train اجاره کردم. اما به شکل عجیبی فرآیند train روی RTX 4090 سریع تر بود. البته تا جایی که میدونم سری H خودش رو توی scale نشون میده. به خصوص اینکه رم و پهنای باند خیلی بیشتری داره. مثلا همین سرویسی که گرفتم ۱۴۰ گیگ vram داره و ۲۵۸ گیگ هم ram داره