Идеальный стартап

Open-source от OpenAI

Давно такого не было для text2text моделей. С GPT-3 еще в далеком 2020 году. Они все же это сделали и вот блог

Получается хорошая базовая модель для чата или простых функций, как классификация интенций. Для больших проектов можно завести свои gpu сервера и платить большим корпорациям меньше.

Ждем тестов на бенчах

-21 млрд и 117 млрд, используется одновременно 3.6 и 5.1
- MoE с выбором эксперта на уровне токена
-4 битное квантирование. Помещается на h100 с 80гб, а маленькая в 16гб
-использование инструментов и следование инструкциям
-есть рассуждения и можно выбрать уровень усилий
-128к контекст

Ссылка

GitHub

Release v4.55.0: New openai GPT OSS model! · huggingface/transformers

Welcome GPT OSS, the new open-source model family from OpenAI!

For more detailed information about this model, we recommend reading the following blogpost: https://huggingface.co/blog/welcome-open...

👍2

www.tgoop.com/startup_custdev/164

370 viewsedited  Aug 5 at 16:43

Open-source от OpenAI

Давно такого не было для text2text моделей. С GPT-3 еще в далеком 2020 году. Они все же это сделали и вот блог

Получается хорошая базовая модель для чата или простых функций, как классификация интенций. Для больших проектов можно завести свои gpu сервера и платить большим корпорациям меньше.

Ждем тестов на бенчах

-21 млрд и 117 млрд, используется одновременно 3.6 и 5.1
- MoE с выбором эксперта на уровне токена
-4 битное квантирование. Помещается на h100 с 80гб, а маленькая в 16гб
-использование инструментов и следование инструкциям
-есть рассуждения и можно выбрать уровень усилий
-128к контекст

Ссылка

BY Идеальный стартап