Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение

🚀 SGLang теперь в PyTorch: быстрое и гибкое развертывание LLM

SGLang — это мощный движок для обслуживания больших языковых моделей (LLM) и мультимодальных моделей. Он ускоряет взаимодействие с моделями, обеспечивая контроль за их работой. Ключевые возможности SGLang:

▪️ Высокопроизводительный бэкенд:
• RadixAttention для кеширования префиксов.
• Нулевая задержка CPU-планировщика.
• Непрерывная пакетная обработка.
• Квантование (FP8/INT4/AWQ/GPTQ).

▪️ Гибкий фронтенд:
• Интуитивный язык для программирования LLM-приложений.
• Цепочечные вызовы генерации.
• Расширенные техники промптинга и управления потоком.
• Поддержка мультимодального ввода.

▪️ Широкая поддержка моделей:
• Llama, Gemma, Mistral, Qwen, DeepSeek, LLaVA.
• Встраиваемые модели (e5-mistral, gte, mcdse).
• Reward-модели (Skywork).

▪️ Активное сообщество

🔗 Подробнее об экосистеме PyTorch и SGLang: https://clc.to/FfEGWQ

Библиотека дата-сайентиста #свежак

❤4👍1

www.tgoop.com/dsproglib/6253

1.99K viewsMar 21 at 09:30

🚀 SGLang теперь в PyTorch: быстрое и гибкое развертывание LLM

SGLang — это мощный движок для обслуживания больших языковых моделей (LLM) и мультимодальных моделей. Он ускоряет взаимодействие с моделями, обеспечивая контроль за их работой. Ключевые возможности SGLang:

▪️ Высокопроизводительный бэкенд:
• RadixAttention для кеширования префиксов.
• Нулевая задержка CPU-планировщика.
• Непрерывная пакетная обработка.
• Квантование (FP8/INT4/AWQ/GPTQ).

▪️ Гибкий фронтенд:
• Интуитивный язык для программирования LLM-приложений.
• Цепочечные вызовы генерации.
• Расширенные техники промптинга и управления потоком.
• Поддержка мультимодального ввода.

▪️ Широкая поддержка моделей:
• Llama, Gemma, Mistral, Qwen, DeepSeek, LLaVA.
• Встраиваемые модели (e5-mistral, gte, mcdse).
• Reward-модели (Skywork).

▪️ Активное сообщество

🔗 Подробнее об экосистеме PyTorch и SGLang: https://clc.to/FfEGWQ

Библиотека дата-сайентиста #свежак

BY Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение