گوگل مدل جدیدی بنام Gemma 3 270M معرفی کرده؛ همونطور که از اسمش مشخص هست، این مدل فقط 270 میلیون پارامتر داره و طبیعتا در دسته مدل‌های زبانی کوچک (SLM) قرار میگیره. این مدل‌ها خوراک دیوایس‌های کوچک مثل موبایل‌ها، بردهای امبدد و غیره هستن. این مدل به خاطر عملکرد خوب و مصرف انرژی بهینه مورد توجه قرار گرفته.
همونطور که در تصویر بالا آوردم، در تست IFEval عملکرد بهتری از مدل معروف و قدرتمند SmolLM2 هاگینگ‌فیس (یکی از بهترین‌ها در SLM) داشته.
همچنین، روی گوشی Pixel 9 Pro، نسخه کوانتایز شده (INT4) این مدل تنها ۰.۷۵٪ از باتری رو بعد از ۲۵ مکالمه مصرف کرد.
آقای راشکا هم مثل همیشه معماری مدل رو به تصویر کشیده و اون رو با یک مدل معروف دیگه مقایسه کرده. به Pre RMS Norm و Post RMS Norm دقت کنید.
این مدل در X ترند شده و یکسری از افراد دارن این مدل رو روی دیوایس‌های کوچک اجرا میکنن. مثلا فردی نسخه 8 بیتی این مدل رو روی iPad Air M3 با سرعت پردازش 200 توکن بر ثانیه اجرا کرده.
منم که عاشق SLM هستم! :) مطالعه مطالب زیر رو پیشنهاد می‌کنم:
- مدل MobileLLM: لینک 1 | لینک 2 | لینک 3
- مدل SmolLM: لینک
- دوره LLM هوسم: لینک
همونطور که در تصویر بالا آوردم، در تست IFEval عملکرد بهتری از مدل معروف و قدرتمند SmolLM2 هاگینگ‌فیس (یکی از بهترین‌ها در SLM) داشته.
همچنین، روی گوشی Pixel 9 Pro، نسخه کوانتایز شده (INT4) این مدل تنها ۰.۷۵٪ از باتری رو بعد از ۲۵ مکالمه مصرف کرد.
آقای راشکا هم مثل همیشه معماری مدل رو به تصویر کشیده و اون رو با یک مدل معروف دیگه مقایسه کرده. به Pre RMS Norm و Post RMS Norm دقت کنید.
این مدل در X ترند شده و یکسری از افراد دارن این مدل رو روی دیوایس‌های کوچک اجرا میکنن. مثلا فردی نسخه 8 بیتی این مدل رو روی iPad Air M3 با سرعت پردازش 200 توکن بر ثانیه اجرا کرده.
منم که عاشق SLM هستم! :) مطالعه مطالب زیر رو پیشنهاد می‌کنم:
- مدل MobileLLM: لینک 1 | لینک 2 | لینک 3
- مدل SmolLM: لینک
- دوره LLM هوسم: لینک
tgoop.com/pytorch_howsam/723
Create:
Last Update:
Last Update:
گوگل مدل جدیدی بنام Gemma 3 270M معرفی کرده؛ همونطور که از اسمش مشخص هست، این مدل فقط 270 میلیون پارامتر داره و طبیعتا در دسته مدل‌های زبانی کوچک (SLM) قرار میگیره. این مدل‌ها خوراک دیوایس‌های کوچک مثل موبایل‌ها، بردهای امبدد و غیره هستن. این مدل به خاطر عملکرد خوب و مصرف انرژی بهینه مورد توجه قرار گرفته.
همونطور که در تصویر بالا آوردم، در تست IFEval عملکرد بهتری از مدل معروف و قدرتمند SmolLM2 هاگینگ‌فیس (یکی از بهترین‌ها در SLM) داشته.
همچنین، روی گوشی Pixel 9 Pro، نسخه کوانتایز شده (INT4) این مدل تنها ۰.۷۵٪ از باتری رو بعد از ۲۵ مکالمه مصرف کرد.
آقای راشکا هم مثل همیشه معماری مدل رو به تصویر کشیده و اون رو با یک مدل معروف دیگه مقایسه کرده. به Pre RMS Norm و Post RMS Norm دقت کنید.
این مدل در X ترند شده و یکسری از افراد دارن این مدل رو روی دیوایس‌های کوچک اجرا میکنن. مثلا فردی نسخه 8 بیتی این مدل رو روی iPad Air M3 با سرعت پردازش 200 توکن بر ثانیه اجرا کرده.
منم که عاشق SLM هستم! :) مطالعه مطالب زیر رو پیشنهاد می‌کنم:
- مدل MobileLLM: لینک 1 | لینک 2 | لینک 3
- مدل SmolLM: لینک
- دوره LLM هوسم: لینک
همونطور که در تصویر بالا آوردم، در تست IFEval عملکرد بهتری از مدل معروف و قدرتمند SmolLM2 هاگینگ‌فیس (یکی از بهترین‌ها در SLM) داشته.
همچنین، روی گوشی Pixel 9 Pro، نسخه کوانتایز شده (INT4) این مدل تنها ۰.۷۵٪ از باتری رو بعد از ۲۵ مکالمه مصرف کرد.
آقای راشکا هم مثل همیشه معماری مدل رو به تصویر کشیده و اون رو با یک مدل معروف دیگه مقایسه کرده. به Pre RMS Norm و Post RMS Norm دقت کنید.
این مدل در X ترند شده و یکسری از افراد دارن این مدل رو روی دیوایس‌های کوچک اجرا میکنن. مثلا فردی نسخه 8 بیتی این مدل رو روی iPad Air M3 با سرعت پردازش 200 توکن بر ثانیه اجرا کرده.
منم که عاشق SLM هستم! :) مطالعه مطالب زیر رو پیشنهاد می‌کنم:
- مدل MobileLLM: لینک 1 | لینک 2 | لینک 3
- مدل SmolLM: لینک
- دوره LLM هوسم: لینک
BY PyTorch Howsam
Share with your friend now:
tgoop.com/pytorch_howsam/723