🔵 عنوان مقاله
State of Containers and Serverless (8 minute read)
🟢 خلاصه مقاله:
روندهای کلیدی در گزارش State of Containers and Serverless از Datadog که بر پایه دادههای هزاران محیط cloud-native تهیه شده، پنج نکته اصلی را نشان میدهد: ۱) استفاده از GPU با سرعت در حال رشد است؛ اکنون حدود ۶٪ از سازمانها از آن بهره میبرند و ساعات اجرای اینستنسها نسبت به دو سال پیش تقریباً سه برابر شده است. ۲) بارهای کاری AI در حال ظهورند و حدود ۷٪ از workloadهای کانتینری را تشکیل میدهند و در کنار پایگاهدادهها و سرویسهای وب اجرا میشوند. ۳) بیشتر کانتینرها کمتر از ۵۰٪ حافظه و کمتر از ۲۵٪ CPU مصرف میکنند که بیانگر افزونتخصیص گسترده و فرصتهای بهینهسازی هزینه از طریق right-sizing و تنظیم بهتر autoscaling است. ۴) بیش از ۶۴٪ از کلاسترهای Kubernetes از Horizontal Pod Autoscaler (HPA) استفاده میکنند، اما تنها ۲۰٪ به آن متریکهای سفارشی اپلیکیشن میدهند؛ تکیه صرف بر CPU/Memory باعث مقیاسپذیری نامتوازن با تقاضای واقعی میشود. ۵) پلتفرمهای مبتنی بر Arm در حال گسترشاند و با قیمت/کارایی و بهرهوری انرژی بهتر جذاب شدهاند، اما به پشتیبانی multi-arch، سازگاری وابستگیها و تنظیم درست CI/CD نیاز دارند. جمعبندی: پذیرش GPU و AI شتاب گرفته، اما برای بهبود کارایی و واکنشپذیری، باید روی right-sizing، متریکهای سفارشی برای HPA و ارزیابی هدفمند Arm تمرکز شود.
#CloudNative #Containers #Kubernetes #Serverless #Datadog #GPU #AI #ARM
🟣لینک مقاله:
https://www.datadoghq.com/state-of-containers-and-serverless/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
State of Containers and Serverless (8 minute read)
🟢 خلاصه مقاله:
روندهای کلیدی در گزارش State of Containers and Serverless از Datadog که بر پایه دادههای هزاران محیط cloud-native تهیه شده، پنج نکته اصلی را نشان میدهد: ۱) استفاده از GPU با سرعت در حال رشد است؛ اکنون حدود ۶٪ از سازمانها از آن بهره میبرند و ساعات اجرای اینستنسها نسبت به دو سال پیش تقریباً سه برابر شده است. ۲) بارهای کاری AI در حال ظهورند و حدود ۷٪ از workloadهای کانتینری را تشکیل میدهند و در کنار پایگاهدادهها و سرویسهای وب اجرا میشوند. ۳) بیشتر کانتینرها کمتر از ۵۰٪ حافظه و کمتر از ۲۵٪ CPU مصرف میکنند که بیانگر افزونتخصیص گسترده و فرصتهای بهینهسازی هزینه از طریق right-sizing و تنظیم بهتر autoscaling است. ۴) بیش از ۶۴٪ از کلاسترهای Kubernetes از Horizontal Pod Autoscaler (HPA) استفاده میکنند، اما تنها ۲۰٪ به آن متریکهای سفارشی اپلیکیشن میدهند؛ تکیه صرف بر CPU/Memory باعث مقیاسپذیری نامتوازن با تقاضای واقعی میشود. ۵) پلتفرمهای مبتنی بر Arm در حال گسترشاند و با قیمت/کارایی و بهرهوری انرژی بهتر جذاب شدهاند، اما به پشتیبانی multi-arch، سازگاری وابستگیها و تنظیم درست CI/CD نیاز دارند. جمعبندی: پذیرش GPU و AI شتاب گرفته، اما برای بهبود کارایی و واکنشپذیری، باید روی right-sizing، متریکهای سفارشی برای HPA و ارزیابی هدفمند Arm تمرکز شود.
#CloudNative #Containers #Kubernetes #Serverless #Datadog #GPU #AI #ARM
🟣لینک مقاله:
https://www.datadoghq.com/state-of-containers-and-serverless/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Datadog
State of Containers and Serverless | Datadog
We analyze cloud compute trends, from containers to serverless to rising GPU and Arm adoption, as organizations seek efficiency and cost control.
🔵 عنوان مقاله
Training a Tokenizer for BERT Models (4 minute read)
🟢 خلاصه مقاله:
این مقاله توضیح میدهد چگونه با استفاده از کتابخانههای tokenizers و datasets از Hugging Face یک WordPiece tokenizer اختصاصی برای BERT آموزش دهیم: دادهها با یک iterator بارگذاری میشوند، یک واژگان 30,522 کلمهای همراه با BERT special tokens مانند [PAD]، [UNK]، [CLS]، [SEP] و [MASK] ساخته میشود، و تنظیمات اختیاری مانند lowercase و pre-tokenization اعمال میگردد. سپس برای استفاده عملی، padding و truncation فعال میشود و tokenizer ذخیره و روی نمونهها تست میشود. در مرحلهی آموزش یا fine-tuning مدل BERT، باید همخوانی tokenizer و مدل حفظ شود؛ اگر از یک BERT ازپیشآموزشدادهشده با tokenizer جدید استفاده میکنید، ممکن است نیاز به تغییر اندازهی embeddingها مطابق با واژگان جدید داشته باشید. این روند زمینه را برای پیشپردازش داده و fine-tuning مؤثر فراهم میکند.
#BERT #Tokenizer #WordPiece #HuggingFace #NLP #Tokenization #MachineLearning
🟣لینک مقاله:
https://machinelearningmastery.com/training-a-tokenizer-for-bert-models/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Training a Tokenizer for BERT Models (4 minute read)
🟢 خلاصه مقاله:
این مقاله توضیح میدهد چگونه با استفاده از کتابخانههای tokenizers و datasets از Hugging Face یک WordPiece tokenizer اختصاصی برای BERT آموزش دهیم: دادهها با یک iterator بارگذاری میشوند، یک واژگان 30,522 کلمهای همراه با BERT special tokens مانند [PAD]، [UNK]، [CLS]، [SEP] و [MASK] ساخته میشود، و تنظیمات اختیاری مانند lowercase و pre-tokenization اعمال میگردد. سپس برای استفاده عملی، padding و truncation فعال میشود و tokenizer ذخیره و روی نمونهها تست میشود. در مرحلهی آموزش یا fine-tuning مدل BERT، باید همخوانی tokenizer و مدل حفظ شود؛ اگر از یک BERT ازپیشآموزشدادهشده با tokenizer جدید استفاده میکنید، ممکن است نیاز به تغییر اندازهی embeddingها مطابق با واژگان جدید داشته باشید. این روند زمینه را برای پیشپردازش داده و fine-tuning مؤثر فراهم میکند.
#BERT #Tokenizer #WordPiece #HuggingFace #NLP #Tokenization #MachineLearning
🟣لینک مقاله:
https://machinelearningmastery.com/training-a-tokenizer-for-bert-models/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
🔵 عنوان مقاله
PgManage 1.4: Web Tool for Database Management
🟢 خلاصه مقاله:
PgManage 1.4 یک ابزار تحت وب متنباز برای مدیریت پایگاهداده است که با تمرکز بر Postgres طراحی شده اما از MySQL، SQLite و Oracle هم پشتیبانی میکند. این ابزار امکان اتصال و کار همزمان با چند پایگاهداده را فراهم میکند و مرور اشیایی مانند جداول، نماها و توابع را آسان میسازد. اجرای تحت وب و ماهیت متنباز آن، راهاندازی را ساده و استفاده در تیمهای دارای فناوریهای متنوع را عملی و روان میکند.
#PgManage #Postgres #DatabaseManagement #OpenSource #WebTool #MySQL #SQLite #Oracle
🟣لینک مقاله:
https://postgresweekly.com/link/177320/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
PgManage 1.4: Web Tool for Database Management
🟢 خلاصه مقاله:
PgManage 1.4 یک ابزار تحت وب متنباز برای مدیریت پایگاهداده است که با تمرکز بر Postgres طراحی شده اما از MySQL، SQLite و Oracle هم پشتیبانی میکند. این ابزار امکان اتصال و کار همزمان با چند پایگاهداده را فراهم میکند و مرور اشیایی مانند جداول، نماها و توابع را آسان میسازد. اجرای تحت وب و ماهیت متنباز آن، راهاندازی را ساده و استفاده در تیمهای دارای فناوریهای متنوع را عملی و روان میکند.
#PgManage #Postgres #DatabaseManagement #OpenSource #WebTool #MySQL #SQLite #Oracle
🟣لینک مقاله:
https://postgresweekly.com/link/177320/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - commandprompt/pgmanage: Web tool for database management
Web tool for database management. Contribute to commandprompt/pgmanage development by creating an account on GitHub.
Forwarded from AI Labdon
مدل opus 4.5 دیروز اومد. بینظیره. بهترین مدل دنیا برای coding با اختلاف زیاد.
یک اتفاق مهم دیگه اینکه Anthropic برای اولین بار قیمت بهترین مدل خودش رو به یک سوم تا یک پنجم قیمت قبلی کاهش داده!!
هر میلیون اینپوت از ۲۵ دلار شده ۵ دلار و هر میلیون output هم از ۷۵ دلار شده ۱۵ دلار!
<Amin Anvary/>
👉 https://www.tgoop.com/addlist/AJ7rh2IzIh02NTI0
یک اتفاق مهم دیگه اینکه Anthropic برای اولین بار قیمت بهترین مدل خودش رو به یک سوم تا یک پنجم قیمت قبلی کاهش داده!!
هر میلیون اینپوت از ۲۵ دلار شده ۵ دلار و هر میلیون output هم از ۷۵ دلار شده ۱۵ دلار!
<Amin Anvary/>
👉 https://www.tgoop.com/addlist/AJ7rh2IzIh02NTI0
❤1👍1🔥1
🔵 عنوان مقاله
A SQL Query's Roadtrip Through Postgres
🟢 خلاصه مقاله:
این مطلب با الهام از توضیحات Jesús Espino و Umair Shahid نشان میدهد یک پرسوجوی SQL در Postgres چگونه از مرحله دریافت و parse، به planنویسی و سپس اجرا میرسد. Postgres با اتکا به optimizer مسیرهای دسترسی مناسب را انتخاب میکند و هنگام اجرا، دادهها را از طریق buffer manager به حافظه میآورد و با MVCC دید سازگار هر تراکنش را تضمین میکند. در مسیر نوشتن، ابتدا تغییرات در WAL ثبت میشوند و صفحات بهروزشده در حافظه به «dirty pages» تبدیل میگردند؛ یعنی نسخه درونحافظهای با نسخه روی دیسک تفاوت دارد. سپس background writer و checkpointer بهتدریج این صفحات را روی دیسک مینویسند تا پایداری داده و بازیابی سریع پس از خطا ممکن شود. تنظیماتی مثل shared_buffers و پارامترهای مربوط به checkpoint و WAL روی تأخیر، توان عملیاتی و الگوی I/O اثر مستقیم دارند. برای توسعهدهندگان، انتخاب شاخصهای مناسب، شکلدهی درست پرسوجوها و پایش با ابزارهایی مانند pg_stat_bgwriter و pg_buffercache به درک فشار نوشتن، نسبت صفحات dirty و کارایی حافظه کمک میکند.
#Postgres #SQL #DatabaseInternals #WAL #DirtyPages #QueryPlanner #Checkpoints #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/176686/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
A SQL Query's Roadtrip Through Postgres
🟢 خلاصه مقاله:
این مطلب با الهام از توضیحات Jesús Espino و Umair Shahid نشان میدهد یک پرسوجوی SQL در Postgres چگونه از مرحله دریافت و parse، به planنویسی و سپس اجرا میرسد. Postgres با اتکا به optimizer مسیرهای دسترسی مناسب را انتخاب میکند و هنگام اجرا، دادهها را از طریق buffer manager به حافظه میآورد و با MVCC دید سازگار هر تراکنش را تضمین میکند. در مسیر نوشتن، ابتدا تغییرات در WAL ثبت میشوند و صفحات بهروزشده در حافظه به «dirty pages» تبدیل میگردند؛ یعنی نسخه درونحافظهای با نسخه روی دیسک تفاوت دارد. سپس background writer و checkpointer بهتدریج این صفحات را روی دیسک مینویسند تا پایداری داده و بازیابی سریع پس از خطا ممکن شود. تنظیماتی مثل shared_buffers و پارامترهای مربوط به checkpoint و WAL روی تأخیر، توان عملیاتی و الگوی I/O اثر مستقیم دارند. برای توسعهدهندگان، انتخاب شاخصهای مناسب، شکلدهی درست پرسوجوها و پایش با ابزارهایی مانند pg_stat_bgwriter و pg_buffercache به درک فشار نوشتن، نسبت صفحات dirty و کارایی حافظه کمک میکند.
#Postgres #SQL #DatabaseInternals #WAL #DirtyPages #QueryPlanner #Checkpoints #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/176686/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Internals for interns
A SQL Query's Roadtrip Through Postgres | Internals for interns
Ever wonder what happens when you type SELECT * FROM users WHERE id = 42; and hit Enter? That simple query triggers a fascinating journey through PostgreSQL’s internals—a complex series of operations involving multiple processes, sophisticated memory management…
🔵 عنوان مقاله
TOON (GitHub Repo)
🟢 خلاصه مقاله:
TOON یک جایگزین فشرده و خوانا برای JSON است که با حفظ همان دادهها، از قالب جدولی و تورفتگی استفاده میکند تا LLMها آن را راحتتر و دقیقتر پردازش کنند. این روش در آرایههای یکنواخت از اشیاء با تعریف یک بار کلیدها و نمایش ردیفهای مقدار، معمولاً ۳۰ تا ۶۰ درصد توکن کمتری نسبت به JSON مصرف میکند و خطاهای پرانتز/نقلقول را کاهش میدهد. TOON برای خروجیهای ساختیافته، تبادل داده در زنجیره ابزارهای هوش مصنوعی و مجموعهدادههای تکراری مناسب است و بدون از دستدادن معنا، بهطور قابل اعتماد به JSON رفتوبرگشت میشود.
#TOON #JSON #LLM #DataFormat #TokenEfficiency #PromptEngineering #Parsing #OpenSource
🟣لینک مقاله:
https://github.com/toon-format/toon?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
TOON (GitHub Repo)
🟢 خلاصه مقاله:
TOON یک جایگزین فشرده و خوانا برای JSON است که با حفظ همان دادهها، از قالب جدولی و تورفتگی استفاده میکند تا LLMها آن را راحتتر و دقیقتر پردازش کنند. این روش در آرایههای یکنواخت از اشیاء با تعریف یک بار کلیدها و نمایش ردیفهای مقدار، معمولاً ۳۰ تا ۶۰ درصد توکن کمتری نسبت به JSON مصرف میکند و خطاهای پرانتز/نقلقول را کاهش میدهد. TOON برای خروجیهای ساختیافته، تبادل داده در زنجیره ابزارهای هوش مصنوعی و مجموعهدادههای تکراری مناسب است و بدون از دستدادن معنا، بهطور قابل اعتماد به JSON رفتوبرگشت میشود.
#TOON #JSON #LLM #DataFormat #TokenEfficiency #PromptEngineering #Parsing #OpenSource
🟣لینک مقاله:
https://github.com/toon-format/toon?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - toon-format/toon: 🎒 Token-Oriented Object Notation (TOON) – Compact, human-readable, schema-aware JSON for LLM prompts.…
🎒 Token-Oriented Object Notation (TOON) – Compact, human-readable, schema-aware JSON for LLM prompts. Spec, benchmarks, TypeScript SDK. - toon-format/toon
🔵 عنوان مقاله
Storing Products, Prices and Orders in Postgres
🟢 خلاصه مقاله:
این مقاله نشان میدهد که در ذخیرهسازی محصولات، قیمتها و سفارشها در Postgres نرمالسازی افراطی میتواند دقت تاریخی و کارایی را مختل کند. راهکار پیشنهادی، ترکیب یک هسته رابطهای با دنرمالسازی هدفمند است: نگهداشتن اسنپشات «همانطور که فروخته شد» در سطرهای سفارش (نام/SKU، قیمت، ارز، مالیات و تخفیف) و نسخهبندی یا تاریخدار کردن قیمتها برای حفظ سابقه. برای مقادیر پولی از NUMERIC/DECIMAL و کد ارز استفاده میشود، محاسبات مالیات و تخفیف ذخیره میگردد، و ویژگیهای متغیر محصول در JSONB همراه با قیود و ایندکسهای مناسب مدیریت میشوند. همچنین بر مهاجرتهای افزایشی، تراکنشها و ایندکسگذاری/پارتیشنبندی برای مقیاسپذیری تأکید میکند تا هم صحت داده و هم عملکرد تضمین شود.
#Postgres #DatabaseDesign #DataModeling #Ecommerce #Pricing #Normalization #Denormalization #SQL
🟣لینک مقاله:
https://postgresweekly.com/link/177314/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Storing Products, Prices and Orders in Postgres
🟢 خلاصه مقاله:
این مقاله نشان میدهد که در ذخیرهسازی محصولات، قیمتها و سفارشها در Postgres نرمالسازی افراطی میتواند دقت تاریخی و کارایی را مختل کند. راهکار پیشنهادی، ترکیب یک هسته رابطهای با دنرمالسازی هدفمند است: نگهداشتن اسنپشات «همانطور که فروخته شد» در سطرهای سفارش (نام/SKU، قیمت، ارز، مالیات و تخفیف) و نسخهبندی یا تاریخدار کردن قیمتها برای حفظ سابقه. برای مقادیر پولی از NUMERIC/DECIMAL و کد ارز استفاده میشود، محاسبات مالیات و تخفیف ذخیره میگردد، و ویژگیهای متغیر محصول در JSONB همراه با قیود و ایندکسهای مناسب مدیریت میشوند. همچنین بر مهاجرتهای افزایشی، تراکنشها و ایندکسگذاری/پارتیشنبندی برای مقیاسپذیری تأکید میکند تا هم صحت داده و هم عملکرد تضمین شود.
#Postgres #DatabaseDesign #DataModeling #Ecommerce #Pricing #Normalization #Denormalization #SQL
🟣لینک مقاله:
https://postgresweekly.com/link/177314/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
CYBERTEC PostgreSQL | Services & Support
Storing products, prices and orders in PostgreSQL
This blog talks about the best practices in PostgreSQL for a data model. This blog also includes an example, read to know more.
🔵 عنوان مقاله
pg_roaringbitmap 1.0: Roaring Bitmap Extension
🟢 خلاصه مقاله:
** نسخه ۱.۰ pg_roaringbitmap یک افزونه پایدار و آمادهبهکار برای PostgreSQL ارائه میکند که Roaring bitmaps را بهصورت بومی در پایگاهداده در دسترس میگذارد. Roaring bitmaps ساختارهایی فشرده و بهینه برای نمایش مجموعههای بزرگ از اعداد صحیح هستند که معمولاً در سرعت و مصرف حافظه از بیتمپهای فشرده مرسوم بهتر عمل میکنند، بهویژه در عملگرهایی مانند اجتماع، اشتراک و محاسبه کاردینالیتی.
این افزونه امکان ذخیرهسازی و پردازش مستقیم Roaring bitmaps در SQL را فراهم میکند؛ در نتیجه فیلترهای عضویت، پرسوجوهای تحلیلی و بارهای کاری بزرگ با حافظه و I/O کمتر و سرعت بیشتر اجرا میشوند. چنین قابلیتی برای تحلیل رویداد، تلهمتری، حوزههای ad-tech و ایندکسگذاری معکوس کاربرد ویژهای دارد و به تیمها کمک میکند بدون ترک پایگاهداده، از مزایای فشردهسازی و کارایی بالای Roaring bitmaps بهره ببرند.
#PostgreSQL #pg_roaringbitmap #RoaringBitmap #Database #Compression #Performance #Analytics
🟣لینک مقاله:
https://postgresweekly.com/link/176997/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
pg_roaringbitmap 1.0: Roaring Bitmap Extension
🟢 خلاصه مقاله:
** نسخه ۱.۰ pg_roaringbitmap یک افزونه پایدار و آمادهبهکار برای PostgreSQL ارائه میکند که Roaring bitmaps را بهصورت بومی در پایگاهداده در دسترس میگذارد. Roaring bitmaps ساختارهایی فشرده و بهینه برای نمایش مجموعههای بزرگ از اعداد صحیح هستند که معمولاً در سرعت و مصرف حافظه از بیتمپهای فشرده مرسوم بهتر عمل میکنند، بهویژه در عملگرهایی مانند اجتماع، اشتراک و محاسبه کاردینالیتی.
این افزونه امکان ذخیرهسازی و پردازش مستقیم Roaring bitmaps در SQL را فراهم میکند؛ در نتیجه فیلترهای عضویت، پرسوجوهای تحلیلی و بارهای کاری بزرگ با حافظه و I/O کمتر و سرعت بیشتر اجرا میشوند. چنین قابلیتی برای تحلیل رویداد، تلهمتری، حوزههای ad-tech و ایندکسگذاری معکوس کاربرد ویژهای دارد و به تیمها کمک میکند بدون ترک پایگاهداده، از مزایای فشردهسازی و کارایی بالای Roaring bitmaps بهره ببرند.
#PostgreSQL #pg_roaringbitmap #RoaringBitmap #Database #Compression #Performance #Analytics
🟣لینک مقاله:
https://postgresweekly.com/link/176997/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
GitHub
GitHub - ChenHuajun/pg_roaringbitmap: RoaringBitmap extension for PostgreSQL
RoaringBitmap extension for PostgreSQL. Contribute to ChenHuajun/pg_roaringbitmap development by creating an account on GitHub.
🔵 عنوان مقاله
Microsoft Unveils a New Postgres Service: Azure HorizonDB
🟢 خلاصه مقاله:
** مایکروسافت سرویس جدیدی برای Postgres با نام Azure HorizonDB معرفی کرده که در کنار Azure Database for PostgreSQL عرضه میشود و برای نیازهای بسیار سنگین سازمانی هدفگذاری شده است. این سرویس با پشتیبانی تا 3072 vCores در میان نودها و ظرفیت پایگاهداده تا 128TB، روی کارایی و مقیاسپذیری تمرکز دارد. فعلاً در مرحله پیشنمایش اولیه است و احتمالاً با قیمتگذاری پریمیوم/پرهزینه ارائه خواهد شد.
#Microsoft #Azure #PostgreSQL #HorizonDB #CloudDatabase #Scalability #EarlyPreview
🟣لینک مقاله:
https://postgresweekly.com/link/177306/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Microsoft Unveils a New Postgres Service: Azure HorizonDB
🟢 خلاصه مقاله:
** مایکروسافت سرویس جدیدی برای Postgres با نام Azure HorizonDB معرفی کرده که در کنار Azure Database for PostgreSQL عرضه میشود و برای نیازهای بسیار سنگین سازمانی هدفگذاری شده است. این سرویس با پشتیبانی تا 3072 vCores در میان نودها و ظرفیت پایگاهداده تا 128TB، روی کارایی و مقیاسپذیری تمرکز دارد. فعلاً در مرحله پیشنمایش اولیه است و احتمالاً با قیمتگذاری پریمیوم/پرهزینه ارائه خواهد شد.
#Microsoft #Azure #PostgreSQL #HorizonDB #CloudDatabase #Scalability #EarlyPreview
🟣لینک مقاله:
https://postgresweekly.com/link/177306/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
TECHCOMMUNITY.MICROSOFT.COM
Announcing Azure HorizonDB | Microsoft Community Hub
Affan Dar, Vice President of Engineering, PostgreSQL at MicrosoftCharles Feddersen, Partner Director of Program Management, PostgreSQL at Microsoft
Today at...
Today at...
🔵 عنوان مقاله
From Text to Token: How Tokenization Pipelines Work
🟢 خلاصه مقاله:
** این مطلب در دو بخش به نکات کاربردی میپردازد. در بخش اول، «From Text to Token: How Tokenization Pipelines Work» به قلم James Blackwood-Sewell توضیح میدهد که چگونه متن خام طی مراحلی مانند نرمالسازی، پیشتوکنیزهکردن و بهکارگیری الگوریتمهای زیرواژهای مثل BPE، WordPiece و Unigram به توکن تبدیل میشود. نکاتی مانند ساخت واژگان، استفاده از توکنهای ویژه (PAD، BOS/EOS، CLS/SEP)، مدیریت نویسههای ناشناخته، حفظ آفستها، و چالشهای چندزبانه و ایموجیها مطرح میشود. همچنین بر ملاحظات مهندسی مانند تکهتکهکردن متنهای بلند، اسلایدینگ ویندو، تفاوت نیازهای آموزش و استنتاج، و بهینهسازی عملکرد با ابزارهایی مانند Hugging Face Tokenizers و SentencePiece تأکید میشود؛ چرا که تعداد توکنها مستقیماً بر هزینه و تأخیر سامانههای LLM اثر میگذارد.
در بخش دوم، «Understanding and Setting Postgres JDBC Fetch Size» نوشته Shane Borden توضیح میدهد که رفتار پیشفرض Postgres JDBC ممکن است برای نتایج بزرگ حافظه را پر کند و چگونه با فعالکردن سرور-ساید کرسرها و تنظیم setFetchSize (یا defaultRowFetchSize) میتوان نتایج را بهصورت batched و استریمشده دریافت کرد. به ارتباط این تنظیم با autocommit، بازههای پیشنهادی برای اندازه batch، موازنه بین تعداد رفتوبرگشت شبکه و مصرف حافظه، و نکات عملی مانند بستن بهموقع ResultSet/Statement و هماهنگی با تنظیمات ORM (مثلاً hibernate.jdbc.fetch_size) پرداخته میشود. جمعبندی این است که کنار بهینهسازی fetch size، طراحی کوئری و ایندکس مناسب و پروفایلکردن حافظه و زمان، برای پایایی و کارایی ضروری است.
#Tokenization #NLP #Postgres #JDBC #PerformanceTuning #DataEngineering #LLM #Database
🟣لینک مقاله:
https://postgresweekly.com/link/175726/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
From Text to Token: How Tokenization Pipelines Work
🟢 خلاصه مقاله:
** این مطلب در دو بخش به نکات کاربردی میپردازد. در بخش اول، «From Text to Token: How Tokenization Pipelines Work» به قلم James Blackwood-Sewell توضیح میدهد که چگونه متن خام طی مراحلی مانند نرمالسازی، پیشتوکنیزهکردن و بهکارگیری الگوریتمهای زیرواژهای مثل BPE، WordPiece و Unigram به توکن تبدیل میشود. نکاتی مانند ساخت واژگان، استفاده از توکنهای ویژه (PAD، BOS/EOS، CLS/SEP)، مدیریت نویسههای ناشناخته، حفظ آفستها، و چالشهای چندزبانه و ایموجیها مطرح میشود. همچنین بر ملاحظات مهندسی مانند تکهتکهکردن متنهای بلند، اسلایدینگ ویندو، تفاوت نیازهای آموزش و استنتاج، و بهینهسازی عملکرد با ابزارهایی مانند Hugging Face Tokenizers و SentencePiece تأکید میشود؛ چرا که تعداد توکنها مستقیماً بر هزینه و تأخیر سامانههای LLM اثر میگذارد.
در بخش دوم، «Understanding and Setting Postgres JDBC Fetch Size» نوشته Shane Borden توضیح میدهد که رفتار پیشفرض Postgres JDBC ممکن است برای نتایج بزرگ حافظه را پر کند و چگونه با فعالکردن سرور-ساید کرسرها و تنظیم setFetchSize (یا defaultRowFetchSize) میتوان نتایج را بهصورت batched و استریمشده دریافت کرد. به ارتباط این تنظیم با autocommit، بازههای پیشنهادی برای اندازه batch، موازنه بین تعداد رفتوبرگشت شبکه و مصرف حافظه، و نکات عملی مانند بستن بهموقع ResultSet/Statement و هماهنگی با تنظیمات ORM (مثلاً hibernate.jdbc.fetch_size) پرداخته میشود. جمعبندی این است که کنار بهینهسازی fetch size، طراحی کوئری و ایندکس مناسب و پروفایلکردن حافظه و زمان، برای پایایی و کارایی ضروری است.
#Tokenization #NLP #Postgres #JDBC #PerformanceTuning #DataEngineering #LLM #Database
🟣لینک مقاله:
https://postgresweekly.com/link/175726/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Paradedb
From Text to Token: How Tokenization Pipelines Work
Understanding how search engines transform text into tokens through character filtering, tokenization, stemming, and stopword removal.
🔵 عنوان مقاله
Ax 1.0: Efficient Optimization With Adaptive Experimentation (5 minute read)
🟢 خلاصه مقاله:
این مقاله Ax 1.0 را بهعنوان یک پلتفرم متنباز برای بهینهسازی تطبیقی در مقیاس تولیدی معرفی میکند که در Meta برای سیستمهای ML بهکار میرود. Ax بهجای تکیه بر جستوجوی brute-force مانند grid/random، از روشهای Bayesian و آزمایشهای پیدرپی استفاده میکند تا جستوجو را کارآمدتر کرده و زمان و محاسبات را کاهش دهد. این پلتفرم برای تنظیم hyperparameterها، بهینهسازی معیارها و تیونینگ سیستم طراحی شده و با قیود پیچیده، دادههای پرنویز، پیشنهادهای موازی و توقف زودهنگام بهخوبی کنار میآید. یک مقاله پژوهشی پیوست نیز معماری، قابلیتها و عملکرد Ax را در مقیاس بزرگ تشریح میکند و امکان بهرهگیری از این توانمندیها را برای جامعه متنباز فراهم میسازد.
#Ax #BayesianOptimization #HyperparameterTuning #Meta #MLOps #AdaptiveExperimentation #SequentialOptimization #OpenSource
🟣لینک مقاله:
https://engineering.fb.com/2025/11/18/open-source/efficient-optimization-ax-open-platform-adaptive-experimentation/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Ax 1.0: Efficient Optimization With Adaptive Experimentation (5 minute read)
🟢 خلاصه مقاله:
این مقاله Ax 1.0 را بهعنوان یک پلتفرم متنباز برای بهینهسازی تطبیقی در مقیاس تولیدی معرفی میکند که در Meta برای سیستمهای ML بهکار میرود. Ax بهجای تکیه بر جستوجوی brute-force مانند grid/random، از روشهای Bayesian و آزمایشهای پیدرپی استفاده میکند تا جستوجو را کارآمدتر کرده و زمان و محاسبات را کاهش دهد. این پلتفرم برای تنظیم hyperparameterها، بهینهسازی معیارها و تیونینگ سیستم طراحی شده و با قیود پیچیده، دادههای پرنویز، پیشنهادهای موازی و توقف زودهنگام بهخوبی کنار میآید. یک مقاله پژوهشی پیوست نیز معماری، قابلیتها و عملکرد Ax را در مقیاس بزرگ تشریح میکند و امکان بهرهگیری از این توانمندیها را برای جامعه متنباز فراهم میسازد.
#Ax #BayesianOptimization #HyperparameterTuning #Meta #MLOps #AdaptiveExperimentation #SequentialOptimization #OpenSource
🟣لینک مقاله:
https://engineering.fb.com/2025/11/18/open-source/efficient-optimization-ax-open-platform-adaptive-experimentation/?utm_source=tldrdata
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Engineering at Meta
Efficient Optimization With Ax, an Open Platform for Adaptive Experimentation
We’ve released Ax 1.0, an open-source platform that uses machine learning to automatically guide complex, resource-intensive experimentation. Ax is used at scale across Meta to improve AI models, t…
یه تلهی بزرگ که پروژهها و اغلب برنامهنویسهای بکند توش میوفتن، اینه که برای حل یه مشکل، سعی میکنن یه مشکل جدید ایجاد کنن.
دیتابیس همیشه Source of Truth هستش، و اضافه کردن لایهی کش، میتونه بعضی مواقع ریسک stale شدن دیتا رو ایجاد کنه. چون مثلا ممکنه در لحظهی آپدیت کش، ردیس خطا بده و ...
به نظر من کش زمانی باید به پروژه اضافه بشه که سیستم، زیر بار دیگه جوابگوی تعداد ریکوئستها نباشه و latency به اندازهی خوبی بالا رفته باشه. اندازهگیری این تاخیر هم، یه عدد ثابت نداره. باید در یک بازهی زمانی محاسبه بشه.
اگه احساس بر اینه که کوئریها سنگین هستن و باید کش اضافه بشه، میتونه چند تا احتمال وجود داشته باشه:
۱- نورمالیزیشن درست انجام نشده
۲- دومین درست تعریف نشده
۳- کوئریها بهینه نیستند (ممکنه بجای گرفتن لیستی از رکوردها، یکی یکی واکشی میشن)
@ | <آرش | Arash/>
دیتابیس همیشه Source of Truth هستش، و اضافه کردن لایهی کش، میتونه بعضی مواقع ریسک stale شدن دیتا رو ایجاد کنه. چون مثلا ممکنه در لحظهی آپدیت کش، ردیس خطا بده و ...
به نظر من کش زمانی باید به پروژه اضافه بشه که سیستم، زیر بار دیگه جوابگوی تعداد ریکوئستها نباشه و latency به اندازهی خوبی بالا رفته باشه. اندازهگیری این تاخیر هم، یه عدد ثابت نداره. باید در یک بازهی زمانی محاسبه بشه.
اگه احساس بر اینه که کوئریها سنگین هستن و باید کش اضافه بشه، میتونه چند تا احتمال وجود داشته باشه:
۱- نورمالیزیشن درست انجام نشده
۲- دومین درست تعریف نشده
۳- کوئریها بهینه نیستند (ممکنه بجای گرفتن لیستی از رکوردها، یکی یکی واکشی میشن)
@ | <آرش | Arash/>
👍3
Forwarded from AI Labdon
قابلیتِ جالبِ Gemini 3 که با Banana Pro میسر هست !
مثلا اگر یک ویدئو آموزشی ۲۰ دقیقه ای یوتیوب دارید و وقت ندارید کامل ببینید و میخواید خلاصه ش رو به صورت یک پوستر گرافیکی ( اینفوگرافیک ) داشته باشید !
آموزش نحوه استفاده از این قابلیت :
۱ لینک ویدئو یوتیوب رو Copy میکنید .
۲ وارد Gemini میشید .
۳ لینک کپی شده رو Paste میکنید و ازش بخواید که ویدئو رو آنالیز و بررسی کنه .
۴ بعد از اینکه بررسی کرد ، حالا این پرامپت وارد کنید !
مثلا اگر یک ویدئو آموزشی ۲۰ دقیقه ای یوتیوب دارید و وقت ندارید کامل ببینید و میخواید خلاصه ش رو به صورت یک پوستر گرافیکی ( اینفوگرافیک ) داشته باشید !
آموزش نحوه استفاده از این قابلیت :
۱ لینک ویدئو یوتیوب رو Copy میکنید .
۲ وارد Gemini میشید .
۳ لینک کپی شده رو Paste میکنید و ازش بخواید که ویدئو رو آنالیز و بررسی کنه .
۴ بعد از اینکه بررسی کرد ، حالا این پرامپت وارد کنید !
Prompt : Generate an image of an infographic explaining the concept presented in the video.❤2
چهار استراتژی کلیدی برای مقیاسپذیری مؤثر پایگاه داده
با رشد سیستمها و افزایش تعداد کاربران، پایگاه داده به یکی از حساسترین و چالشبرانگیزترین بخشهای معماری نرمافزار تبدیل میشود. انتخاب رویکرد مناسب برای مقیاسپذیری، نقش مهمی در حفظ کارایی، پایداری و در دسترسپذیری سرویس دارد. در این مقاله، چهار استراتژی رایج و اثربخش برای مقیاسپذیری پایگاه داده را بررسی میکنیم.
۱) استراتژی Vertical Scaling (افزایش ظرفیت سختافزاری)
سادهترین روش برای افزایش توان پردازشی پایگاه داده، ارتقای منابع سختافزاری نظیر CPU، RAM و فضای ذخیرهسازی است.
این رویکرد بدون نیاز به تغییرات ساختاری در نرمافزار انجام میشود و در بسیاری از سیستمها، اولین گام منطقی برای افزایش ظرفیت به شمار میآید.
با این حال، Vertical Scaling دارای محدودیت ذاتی است و نهایتاً تا سقف مشخصی قابل افزایش است.
۲) استراتژی Replication (توزیع بار خواندن)
در Replication با ایجاد نسخههای متعدد از داده، امکان توزیع بار خواندن بین چندین نود را فراهم میسازد.
در این مدل:
عملیات نوشتن تنها به یک نود Leader ارسال میشود، Leader تغییرات را به نودهای Follower منتقل میکند، عملیات خواندن میتواند توسط هر یک از نودهای Leader یا Follower انجام شود.
هدف اصلی این روش افزایش ظرفیت Read و بهبود کارایی سامانه در مواجهه با تعداد زیاد درخواستهای خواندن است.
۳) استراتژی Caching (افزایش سرعت با ذخیرهسازی موقت)
استفاده از Cache، از تکرار درخواستهای غیرضروری به پایگاه داده جلوگیری میکند.
در این رویکرد، نخستین درخواست داده را از پایگاه داده دریافت کرده و نتیجه آن در Cache ذخیره میشود.
درخواستهای بعدی، در صورت وجود داده در Cache، بهسرعت پاسخ داده میشوند.
این روش علاوه بر کاهش بار پایگاه داده، بهطور چشمگیری سرعت پاسخگویی را نیز افزایش میدهد.
۴) استراتژی Partitioning / Sharding (مقیاسپذیری افقی برای مدیریت بار نوشتن)
استراتژی Sharding با تقسیم داده به بخشهای مستقل (Partitions یا Shards) و توزیع آنها در چندین سرور، امکان افزایش ظرفیتپذیری عملیات نوشتن را فراهم میکند.
در این مدل:
هر شارد بخشی از داده را مدیریت میکند،
هر درخواست نوشتن تنها به شارد مربوطه ارسال میشود،
بار نوشتن میان چندین ماشین تقسیم میگردد.
این رویکرد برای سامانههایی که حجم عملیات نوشتن آنها بالا است، روشی پایدار و قابل اعتماد به حساب میآید.
ارتباط Replication و Sharding
در معماریهای بزرگ، Sharding و Replication معمولاً بهصورت ترکیبی مورد استفاده قرار میگیرند.
هر شارد روی چندین نود Replicate میشود تا در صورت خرابی یک نود، دسترسپذیری داده حفظ گردد.
جمعبندی
چهار روش Vertical Scaling، Replication، Caching و Sharding، ستونهای اصلی مقیاسپذیری پایگاه داده در معماریهای مدرن محسوب میشوند.
انتخاب مناسب میان این روشها به نیازهای عملکردی، حجم داده، الگوی دسترسی و محدودیتهای معماری هر سیستم بستگی دارد.
بهکارگیری درست و ترکیبی این استراتژیها، امکان ساخت سامانههایی پایدار، سریع و قابلاتکا را فراهم میکند.
@ | <Amir Rahimi Nejad/>
با رشد سیستمها و افزایش تعداد کاربران، پایگاه داده به یکی از حساسترین و چالشبرانگیزترین بخشهای معماری نرمافزار تبدیل میشود. انتخاب رویکرد مناسب برای مقیاسپذیری، نقش مهمی در حفظ کارایی، پایداری و در دسترسپذیری سرویس دارد. در این مقاله، چهار استراتژی رایج و اثربخش برای مقیاسپذیری پایگاه داده را بررسی میکنیم.
۱) استراتژی Vertical Scaling (افزایش ظرفیت سختافزاری)
سادهترین روش برای افزایش توان پردازشی پایگاه داده، ارتقای منابع سختافزاری نظیر CPU، RAM و فضای ذخیرهسازی است.
این رویکرد بدون نیاز به تغییرات ساختاری در نرمافزار انجام میشود و در بسیاری از سیستمها، اولین گام منطقی برای افزایش ظرفیت به شمار میآید.
با این حال، Vertical Scaling دارای محدودیت ذاتی است و نهایتاً تا سقف مشخصی قابل افزایش است.
۲) استراتژی Replication (توزیع بار خواندن)
در Replication با ایجاد نسخههای متعدد از داده، امکان توزیع بار خواندن بین چندین نود را فراهم میسازد.
در این مدل:
عملیات نوشتن تنها به یک نود Leader ارسال میشود، Leader تغییرات را به نودهای Follower منتقل میکند، عملیات خواندن میتواند توسط هر یک از نودهای Leader یا Follower انجام شود.
هدف اصلی این روش افزایش ظرفیت Read و بهبود کارایی سامانه در مواجهه با تعداد زیاد درخواستهای خواندن است.
۳) استراتژی Caching (افزایش سرعت با ذخیرهسازی موقت)
استفاده از Cache، از تکرار درخواستهای غیرضروری به پایگاه داده جلوگیری میکند.
در این رویکرد، نخستین درخواست داده را از پایگاه داده دریافت کرده و نتیجه آن در Cache ذخیره میشود.
درخواستهای بعدی، در صورت وجود داده در Cache، بهسرعت پاسخ داده میشوند.
این روش علاوه بر کاهش بار پایگاه داده، بهطور چشمگیری سرعت پاسخگویی را نیز افزایش میدهد.
۴) استراتژی Partitioning / Sharding (مقیاسپذیری افقی برای مدیریت بار نوشتن)
استراتژی Sharding با تقسیم داده به بخشهای مستقل (Partitions یا Shards) و توزیع آنها در چندین سرور، امکان افزایش ظرفیتپذیری عملیات نوشتن را فراهم میکند.
در این مدل:
هر شارد بخشی از داده را مدیریت میکند،
هر درخواست نوشتن تنها به شارد مربوطه ارسال میشود،
بار نوشتن میان چندین ماشین تقسیم میگردد.
این رویکرد برای سامانههایی که حجم عملیات نوشتن آنها بالا است، روشی پایدار و قابل اعتماد به حساب میآید.
ارتباط Replication و Sharding
در معماریهای بزرگ، Sharding و Replication معمولاً بهصورت ترکیبی مورد استفاده قرار میگیرند.
هر شارد روی چندین نود Replicate میشود تا در صورت خرابی یک نود، دسترسپذیری داده حفظ گردد.
جمعبندی
چهار روش Vertical Scaling، Replication، Caching و Sharding، ستونهای اصلی مقیاسپذیری پایگاه داده در معماریهای مدرن محسوب میشوند.
انتخاب مناسب میان این روشها به نیازهای عملکردی، حجم داده، الگوی دسترسی و محدودیتهای معماری هر سیستم بستگی دارد.
بهکارگیری درست و ترکیبی این استراتژیها، امکان ساخت سامانههایی پایدار، سریع و قابلاتکا را فراهم میکند.
@ | <Amir Rahimi Nejad/>
❤1
Forwarded from Bardia & Erfan
♨️ با احترام به تمام پزشکان، امروز میخوام یه هوش مصنوعی پزشک معرفی کنم.
▪️همه ما ممکنه روزانه سوالات پزشکی رو در مورد علائم یا حال ناخوش خودمون یا اطرافیانمون داشته باشیم. چی میشد اگه یه هوش مصنوعی وجود داشت که به آخرین اطلاعات علم پزشکی هم دسترسی داشت و میشد ازش مشورت گرفت؟
👩⚕️داکوس در کنار شماست ؛)
▪️یک پلتفرم سلامت هوشمنده که از یه چت بات برای تولید گزارشهای سلامت شخصیسازیشده متناسب با هر فرد استفاده میکنه.
▪️کاربرها میتونن با چت بات گفتگو کنن و یه گزارش سلامت تولید کنن یا احتمال انواع ابتلا به بیماری رو شناسایی کنن.
+ اینم بگم که شما فقط اجازه ارسال و دریافت تا 7 پیغام رو به صورت رایگان و روزانه دارید و برای ادامه استفاده باید اشتراک ماهانه تهیه کرد. 👇👇
▫️http://docus.ai
▪️همه ما ممکنه روزانه سوالات پزشکی رو در مورد علائم یا حال ناخوش خودمون یا اطرافیانمون داشته باشیم. چی میشد اگه یه هوش مصنوعی وجود داشت که به آخرین اطلاعات علم پزشکی هم دسترسی داشت و میشد ازش مشورت گرفت؟
👩⚕️داکوس در کنار شماست ؛)
▪️یک پلتفرم سلامت هوشمنده که از یه چت بات برای تولید گزارشهای سلامت شخصیسازیشده متناسب با هر فرد استفاده میکنه.
▪️کاربرها میتونن با چت بات گفتگو کنن و یه گزارش سلامت تولید کنن یا احتمال انواع ابتلا به بیماری رو شناسایی کنن.
+ اینم بگم که شما فقط اجازه ارسال و دریافت تا 7 پیغام رو به صورت رایگان و روزانه دارید و برای ادامه استفاده باید اشتراک ماهانه تهیه کرد. 👇👇
▫️http://docus.ai
Forwarded from Bardia & Erfan
Media is too big
VIEW IN TELEGRAM
بلکفرایدی تبدیل شد به یک بازی کثیف؛ قیمتها قبلش باد شد، امید کاذب ساختند، مردم رو ساعتها پشت گوشی نگه داشتند که شاید «محصول ۲۰۰ میلیونی رو با ۹۰٪ تخفیف» بگیرن.
اینفلوئنسرهایی که با اعتماد همین مردم مشهور شدند، برای چندصد میلیون، هیزم آتیش فریب شدند.
فروشگاههایی که بهجای بازاریابی علمی، دروغ و تکنیک زرد رو انتخاب کردند.
نتیجه؟
نه «اعتبار برند» ساختید، نه «وفاداری مشتری»… فقط یک کولهبار نفرت روی دوش مردم گذاشتید.
اینا تخفیف نبود؛ یک توهین به شعور عمومی بود.
به امید روزی که هرجا چیزی «مفت» دیدیم، کورکورانه نپریم توش.
#بلک_فرایدی #فریب_تخفیف #تکنوکسب #بازاریابی #مردم #ایران
اینفلوئنسرهایی که با اعتماد همین مردم مشهور شدند، برای چندصد میلیون، هیزم آتیش فریب شدند.
فروشگاههایی که بهجای بازاریابی علمی، دروغ و تکنیک زرد رو انتخاب کردند.
نتیجه؟
نه «اعتبار برند» ساختید، نه «وفاداری مشتری»… فقط یک کولهبار نفرت روی دوش مردم گذاشتید.
اینا تخفیف نبود؛ یک توهین به شعور عمومی بود.
به امید روزی که هرجا چیزی «مفت» دیدیم، کورکورانه نپریم توش.
#بلک_فرایدی #فریب_تخفیف #تکنوکسب #بازاریابی #مردم #ایران
❤1👍1🔥1
🔵 عنوان مقاله
PostGIS Performance: Intersection Predicates and Overlays
🟢 خلاصه مقاله:
خلاصهای از یک نوشته در ادامهٔ مجموعهای برای بهبود کارایی PostGIS است که بر دو بخش کلیدی تمرکز دارد: «intersection predicates» مثل ST_Intersects، ST_Touches و ST_Contains و «overlay»ها مثل ST_Intersection و ST_Union. راهبرد اصلی این است: ابتدا با فیلتر سریع جعبهمحیطی (&& روی ایندکس GiST) تعداد کاندیداها را کم کنید و سپس رابطهٔ دقیق را با GEOS بررسی کنید. برای پرسوجوهای معمول، سادهترین predicate که نیازتان را پوشش میدهد انتخاب شود؛ از ST_Intersects برای joinهای اولیه استفاده و در صورت نیاز دقیقتر کنید. عملیات overlay چون هندسهٔ جدید میسازند، پرهزینهاند؛ فقط وقتی واقعاً خروجی هندسی لازم است سراغشان بروید و برای ادغامهای بزرگ ST_UnaryUnion را ترجیح دهید. برای هندسههای حجیم از ST_Subdivide و در صورت امکان از کاهش جزئیات با ST_SimplifyPreserveTopology یا ST_SnapToGrid بهره ببرید. همچنین: ایندکس GiST بسازید، فیلترهای صفتی را زود اعمال کنید، از اعمال توابع روی ستون هندسی در WHERE که جلوی استفاده از ایندکس را میگیرد پرهیز کنید، و با EXPLAIN صحت استفاده از ایندکس و برآوردها را بررسی کنید. نتیجهٔ عملی: انتخاب predicate مناسب، اجتناب از overlay غیرضروری، و نگهداشتن هندسهها و ایندکسها در وضعیتی سازگار با برنامهریز، کارایی پایدار PostgreSQL/PostGIS را تضمین میکند.
#PostGIS #PostgreSQL #GIS #GEOS #SpatialIndex #ST_Intersects #Geospatial #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/177315/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
PostGIS Performance: Intersection Predicates and Overlays
🟢 خلاصه مقاله:
خلاصهای از یک نوشته در ادامهٔ مجموعهای برای بهبود کارایی PostGIS است که بر دو بخش کلیدی تمرکز دارد: «intersection predicates» مثل ST_Intersects، ST_Touches و ST_Contains و «overlay»ها مثل ST_Intersection و ST_Union. راهبرد اصلی این است: ابتدا با فیلتر سریع جعبهمحیطی (&& روی ایندکس GiST) تعداد کاندیداها را کم کنید و سپس رابطهٔ دقیق را با GEOS بررسی کنید. برای پرسوجوهای معمول، سادهترین predicate که نیازتان را پوشش میدهد انتخاب شود؛ از ST_Intersects برای joinهای اولیه استفاده و در صورت نیاز دقیقتر کنید. عملیات overlay چون هندسهٔ جدید میسازند، پرهزینهاند؛ فقط وقتی واقعاً خروجی هندسی لازم است سراغشان بروید و برای ادغامهای بزرگ ST_UnaryUnion را ترجیح دهید. برای هندسههای حجیم از ST_Subdivide و در صورت امکان از کاهش جزئیات با ST_SimplifyPreserveTopology یا ST_SnapToGrid بهره ببرید. همچنین: ایندکس GiST بسازید، فیلترهای صفتی را زود اعمال کنید، از اعمال توابع روی ستون هندسی در WHERE که جلوی استفاده از ایندکس را میگیرد پرهیز کنید، و با EXPLAIN صحت استفاده از ایندکس و برآوردها را بررسی کنید. نتیجهٔ عملی: انتخاب predicate مناسب، اجتناب از overlay غیرضروری، و نگهداشتن هندسهها و ایندکسها در وضعیتی سازگار با برنامهریز، کارایی پایدار PostgreSQL/PostGIS را تضمین میکند.
#PostGIS #PostgreSQL #GIS #GEOS #SpatialIndex #ST_Intersects #Geospatial #Performance
🟣لینک مقاله:
https://postgresweekly.com/link/177315/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
Crunchy Data
PostGIS Performance: Intersection Predicates and Overlays | Crunchy Data Blog
What is difference between the boolean true / false ST_Intersects and ST_Contains and the overlay options of ST_Intersection and ST_Difference? Also, combining these two ideas can get you really fast queries for geometries fully contained inside areas.
Forwarded from AI Labdon
🤖 علاقهمند به دنیای هوش مصنوعی هستی؟
🏖 دنبال میکنی که چطور AI داره دنیا رو متحول میکنه؟
🍻پس جای درستی اومدی!
🎯 در کانال ما هر روز:
🔍 جدیدترین اخبار و دستاوردهای دنیای AI
🧠 تحلیل تخصصی در حوزه یادگیری ماشین، دیپ لرنینگ و مدلهای زبانی
💼 بررسی کاربردهای هوش مصنوعی در پزشکی، صنعت، آموزش، امنیت و اقتصاد
🛠 معرفی ابزارها، دورهها و منابع یادگیری
📈 بررسی ترندها و آینده فناوریهای مرتبط با هوش مصنوعی
🍄همهی اینها به زبان ساده، خلاصه و قابل فهم برای همه علاقهمندان — از مبتدی تا حرفهای!
👇👇👇👇👇👇
https://www.tgoop.com/ai_labdon
🏖 دنبال میکنی که چطور AI داره دنیا رو متحول میکنه؟
🍻پس جای درستی اومدی!
🎯 در کانال ما هر روز:
🔍 جدیدترین اخبار و دستاوردهای دنیای AI
🧠 تحلیل تخصصی در حوزه یادگیری ماشین، دیپ لرنینگ و مدلهای زبانی
💼 بررسی کاربردهای هوش مصنوعی در پزشکی، صنعت، آموزش، امنیت و اقتصاد
🛠 معرفی ابزارها، دورهها و منابع یادگیری
📈 بررسی ترندها و آینده فناوریهای مرتبط با هوش مصنوعی
🍄همهی اینها به زبان ساده، خلاصه و قابل فهم برای همه علاقهمندان — از مبتدی تا حرفهای!
👇👇👇👇👇👇
https://www.tgoop.com/ai_labdon
🔵 عنوان مقاله
dbt's new Fusion Engine for smarter, cost-effective data ops (Sponsor)
🟢 خلاصه مقاله:
تیمهای داده با یک گزینه سخت روبرو هستند: یا با سرعت بالا کار کنند و هزینههای ابری را به صورت چشمگیری افزایش دهند، یا هزینهها را کنترل کنند و در کیفیت فداکاری نمایند. این مشکل همچنان یکی از چالشهای اصلی در مدیریت دادهها است. اما خبر خوب این است که نرمافزار Fusion جدید شرکت dbt راه حلی هوشمندانه ارائه کرده است. این موتور با استفاده از ارکستراسیون مبتنی بر آگاهی از وضعیت، مدلها و آزمایشهای تغییر نکرده را به صورت خودکار نادیده میگیرد، و بدین ترتیب بهرهوری تا ۲۹ درصد افزایش یافته است. این فناوری جدید قادر است کنترل هزینهها را در حالی که تازهسازی دادهها حفظ میکند، توازن بخشد.
برای درک بهتر از قابلیتهای Fusion، پیشنهاد میشود در جلسه زنده (۳ و ۴ دسامبر) شرکت کنید و مشاهده نمایید که چگونه این فناوری به شرکتهایی مانند Obie Insurance و Analytics8 کمک میکند تا خطوط لوله داده سریعتر و کارآمدتر عمل کنند و از هدر رفتن منابع جلوگیری کنند. این ابزار نوآورانه نشان میدهد که چگونه میتوان بهرهوری در عملیات داده را افزایش داد و هزینهها را کنترل کرد، بدون اینکه کیفیت دادهها فدا شود.
#مدیریت_داده #هوشمندانه #کاهش_هزینه #Fusion
🟣لینک مقاله:
https://www.getdbt.com/resources/webinars/how-the-dbt-fusion-engine-optimizes-data-work/?utm_medium=paid-email&utm_source=tldr&utm_campaign=q4-2026_tldr-newsletters_cv&utm_content=_newsletter3___&utm_term=all_all__
➖➖➖➖➖➖➖➖
👑 @Database_Academy
dbt's new Fusion Engine for smarter, cost-effective data ops (Sponsor)
🟢 خلاصه مقاله:
تیمهای داده با یک گزینه سخت روبرو هستند: یا با سرعت بالا کار کنند و هزینههای ابری را به صورت چشمگیری افزایش دهند، یا هزینهها را کنترل کنند و در کیفیت فداکاری نمایند. این مشکل همچنان یکی از چالشهای اصلی در مدیریت دادهها است. اما خبر خوب این است که نرمافزار Fusion جدید شرکت dbt راه حلی هوشمندانه ارائه کرده است. این موتور با استفاده از ارکستراسیون مبتنی بر آگاهی از وضعیت، مدلها و آزمایشهای تغییر نکرده را به صورت خودکار نادیده میگیرد، و بدین ترتیب بهرهوری تا ۲۹ درصد افزایش یافته است. این فناوری جدید قادر است کنترل هزینهها را در حالی که تازهسازی دادهها حفظ میکند، توازن بخشد.
برای درک بهتر از قابلیتهای Fusion، پیشنهاد میشود در جلسه زنده (۳ و ۴ دسامبر) شرکت کنید و مشاهده نمایید که چگونه این فناوری به شرکتهایی مانند Obie Insurance و Analytics8 کمک میکند تا خطوط لوله داده سریعتر و کارآمدتر عمل کنند و از هدر رفتن منابع جلوگیری کنند. این ابزار نوآورانه نشان میدهد که چگونه میتوان بهرهوری در عملیات داده را افزایش داد و هزینهها را کنترل کرد، بدون اینکه کیفیت دادهها فدا شود.
#مدیریت_داده #هوشمندانه #کاهش_هزینه #Fusion
🟣لینک مقاله:
https://www.getdbt.com/resources/webinars/how-the-dbt-fusion-engine-optimizes-data-work/?utm_medium=paid-email&utm_source=tldr&utm_campaign=q4-2026_tldr-newsletters_cv&utm_content=_newsletter3___&utm_term=all_all__
➖➖➖➖➖➖➖➖
👑 @Database_Academy
dbt Labs
Smarter pipelines, 29% more efficient: How the dbt Fusion engine optimizes data work | dbt Labs
Learn how how dbt Fusion helps data teams run smarter, deliver faster, and spend less time rebuilding.
🔵 عنوان مقاله
an inaugural PostgreSQL Edinburgh meetup
🟢 خلاصه مقاله:
در تاریخ ۱۱ دسامبر، اولین نشست کاربران PostgreSQL در ادینبورگ، اسکاتلند، برگزار میشود. این رویداد فرصتی عالی برای توسعهدهندگان و علاقهمندان به پایگاههای داده است تا بتوانند در کنار هم درباره جدیدترین فناوریها، بهترین رویهها و تجارب خود بحث و تبادل نظر کنند. با حضور کارشناسان و متخصصان این حوزه، شرکتکنندگان میتوانند از دانش و نکات عملی بهرهمند شده و شبکهسازی مفیدی در فضای فناوری اطلاعات داشته باشند.
این نشست نخستین تجربه از نوع خود در این منطقه است و انتظار میرود جذابیت زیادی برای علاقهمندان به پایگاه دادههای متنباز داشته باشد. به همه علاقهمندان پیشنهاد میشود که در این رویداد شرکت کنند و فرصت آشنایی عمیقتر با فناوری PostgreSQL و نکات کاربردی آن را از دست ندهند.
#PostgreSQL #ادینبورگ #فناوری_اطلاعات #پایگاه_داده
🟣لینک مقاله:
https://postgresweekly.com/link/177310/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
an inaugural PostgreSQL Edinburgh meetup
🟢 خلاصه مقاله:
در تاریخ ۱۱ دسامبر، اولین نشست کاربران PostgreSQL در ادینبورگ، اسکاتلند، برگزار میشود. این رویداد فرصتی عالی برای توسعهدهندگان و علاقهمندان به پایگاههای داده است تا بتوانند در کنار هم درباره جدیدترین فناوریها، بهترین رویهها و تجارب خود بحث و تبادل نظر کنند. با حضور کارشناسان و متخصصان این حوزه، شرکتکنندگان میتوانند از دانش و نکات عملی بهرهمند شده و شبکهسازی مفیدی در فضای فناوری اطلاعات داشته باشند.
این نشست نخستین تجربه از نوع خود در این منطقه است و انتظار میرود جذابیت زیادی برای علاقهمندان به پایگاه دادههای متنباز داشته باشد. به همه علاقهمندان پیشنهاد میشود که در این رویداد شرکت کنند و فرصت آشنایی عمیقتر با فناوری PostgreSQL و نکات کاربردی آن را از دست ندهند.
#PostgreSQL #ادینبورگ #فناوری_اطلاعات #پایگاه_داده
🟣لینک مقاله:
https://postgresweekly.com/link/177310/web
➖➖➖➖➖➖➖➖
👑 @Database_Academy
-=vyruss=- / blog
Announcing the inaugural PostgreSQL Edinburgh meetup
Thrilled to announce the launch of the PostgreSQL Edinburgh meetup! December 11th @ the University of Edinburgh's Old College (pizza, networking, and talks).