آموزش LLM و VLM

استفاده از فرمت مناسب داده برای کاهش توکن ها!

آیا TOON هزینه استفاده از LLM شما را کم می‌کند؟ بله امانه همیشه!

سوالی که خیلی پرسیده میشه اینه که آیا TOON نسبت به Json توکن کمتری مصرف می‌کند؟

جواب کوتاه: در بسیاری از جدول‌ها، ۳۰–۶۰٪ کمتر!

اما سؤال واقعی برای مهندسین AI این است:

داده‌هایتان جدولی هستند یا درختی؟ TOON در جدول‌های بزرگ و تکراری عالی است، اما در JSON پیچیده ممکن است نتیجه معکوس بدهد.

آیا مشکل فرمت دارید یا معماری سیستم؟ اگر هنوز همه داده‌ها را به مدل می‌فرستید، انتخاب فرمت فقط یک بهینه‌سازی جزئی است.

💡 نکته اصلی:
داده‌های درختی → JSON
داده‌های مسطح و تحلیلی → CSV
پرامپت‌های LLM با جدول‌های بزرگ و تکراری → TOON

امروزه، فرمت داده بخشی از پرامپت انجینیرینگ است، نه فقط پسوند فایل!


https://github.com/toon-format/toon

👍6❤5

www.tgoop.com/llm_huggingface/158

1.79K viewsNov 19 at 10:36

استفاده از فرمت مناسب داده برای کاهش توکن ها!

آیا TOON هزینه استفاده از LLM شما را کم می‌کند؟ بله امانه همیشه!

سوالی که خیلی پرسیده میشه اینه که آیا TOON نسبت به Json توکن کمتری مصرف می‌کند؟

جواب کوتاه: در بسیاری از جدول‌ها، ۳۰–۶۰٪ کمتر!

اما سؤال واقعی برای مهندسین AI این است:

داده‌هایتان جدولی هستند یا درختی؟ TOON در جدول‌های بزرگ و تکراری عالی است، اما در JSON پیچیده ممکن است نتیجه معکوس بدهد.

آیا مشکل فرمت دارید یا معماری سیستم؟ اگر هنوز همه داده‌ها را به مدل می‌فرستید، انتخاب فرمت فقط یک بهینه‌سازی جزئی است.

💡 نکته اصلی:
داده‌های درختی → JSON
داده‌های مسطح و تحلیلی → CSV
پرامپت‌های LLM با جدول‌های بزرگ و تکراری → TOON

امروزه، فرمت داده بخشی از پرامپت انجینیرینگ است، نه فقط پسوند فایل!


https://github.com/toon-format/toon

BY آموزش LLM و VLM