Команда Zero Agency + любимая группа + босс ударник = незабываемый ДР компании🔥

Концерт навсегда в наших сердцах ❤️

Трудовые будни и главный специалист по поднятию офисного настроения

Хочешь стартануть правильно? Начни с Zero Agency. Возможно, нам нужен именно ты!🔥

Работник месяца - Хати, главный специалист по улучшению настроения в офисе.

А если ты хочешь тоже работать у нас - вот тут вакансии есть

О кривых хостерах и важности сетевых настроек.

Есть такой хостинг HostKey - дёшево, сердито и не без проблем. Но на то и причины есть:
1. У vGPU инстансов жесткие непонятные ограничения по сети - за быстрое скачивание получаешь blackhole на час. При этом скорость они не режут(не хотят), снимать ограничения тоже не снимают.
2. У dedicated сервера периодически жестко тормозит сеть.

Собственно про последний случай хотелось бы немного детальнее.
Проявляется это так, что при загрузке какого-то файла тебе прилетает несколько мегабайт, а дальше всё - тишина и соединение падает по таймауту.
Причем происходит это в рандомное время, в рандомных направлениях.
Два раза писал в ТП - результата ноль.

Сегодня не выдержал, походил, подумал. Поменял MTU с дефолтных 1500 на 1000 - PROFIT.

Что там на свитчах у хостера происходит - загадка видимо даже для их техподдержки. Но собственно и пофиг. Работает - не трогай.
В общем, учите матчасть - может пригодиться.

Такие дела ¯\_(ツ)_/¯

Мои впечатления от open-source релиза GPT-OSS

Родственные по теме тг-каналы уже всё написали, но я хочу поделиться личными впечатлениями от этих моделей. Я не буду писать про субъективные оценки генерацией модели и её зацензурированность, напишу о практических моментах.

Как и ожидалось, нормальную поддержку инференса пока что не завезли.
- vLLM часто пятисотит, решения пока что нет.
- Chat template в официальном релизе фиксили, но есть ещё немного другой от unsloth. Но тут работает теорема Эскобара + не забываем, что нужно обновить пакет openai и поставить openai-harmony.
- У vllm Structured output в режиме async scheduling не работает. Если у вас ошибка Failed to advance FSM for request - просто отключите --async-scheduling
- Производительность неплохая, но кажется может быть и лучше. В vllm есть коммит на тритоновские ядра для mxfp4, но в 0.10.1+gptoss его ещё не было.
- vLLM не умеет запускать bf16 версии, т.е. то, что у людей получается после тюна и мержа с основной моделью.
- lora адаптеры, к слову, vllm пока что для gpt-oss тоже не умеет.
- Замерить модель бенчмарками из-за всех этих проблем по-нормальному не выходит. Посчитать точно mera не вышло даже после добавления think_end_token. Ждем патчи в lm-eval и vllm.
- Готового инструмента по квантизации bf16 в mxfp4 пока нет.

Как же тюнить, спросите вы?
Можно воспользоваться гайдом, но 120b так не затюнишь особо. У меня удалось затюнить 120b через axolotl на расквантованной версии модели(пример конфига).
Тюн mxfp4 без dequantize в принципе пока ещё не реализован(а жаль).

В результате у меня получилось 2 модельки на датасете HuggingFaceH4/Multilingual-Thinking с полным файнтюном на 8xH200:
- gpt-oss-20b-multilingual-reasoning
- gpt-oss-120b-multilingual-reasoning

Если в system добавить строчку reasoning language: Русский или reasoning language: Russian - модель начнет выдавать reasoning_content на русском языке(или другом, который укажете).
Этот датасет с маленьким размером - всего 1000 примеров. Он показал хорошие способности модели к пониманию, что от неё хотят - в датасете нет русского языка, но модель выучила принцип, что надо делать ризонинг именно на указанном в system языке. Без файнтюна она это делать отказывается.
Однако не забываем, что датасет является синтетикой от Qwen3-32B, а значит размышления там не похожи на те, которые в оригинале даёт GPT-OSS. Также в датасете нет разницы между размером ризонинга(reasoning effort). Соответственно понимаем, что модель после тюна думает уже несколько иначе.

Что касается инференса bf16 и затюненных версий, то тут есть пока что только один стабильный путь - GGUF:
1. Запускаем конвертацию в bf16:

docker run --gpus all -v /root:/models ghcr.io/ggml-org/llama.cpp:full-cuda-b6115 --convert --outtype bf16 /models/gpt-oss-120b-multilingual-reasoning

2. Запускаем инференс через llama-server:

docker run --gpus all -p8000:8000 -v /root:/models ghcr.io/ggml-org/llama.cpp:full-cuda-b6115 --server --host 0.0.0.0 --port 8000 --api-key EMPTY --jinja -m /models/gpt-oss-120B-multilingual-reasoning-BF16.gguf -ngl 99 --temp 1.0 --top-p 1.0 --top-k 0 --ctx-size 200000 -np 20 -fa --log-timestamps --log-prefix --swa-full -kvu

Но тут же вспоминаем о проблемах с производительностью в многопотоке llama-server и плачем не унываем.

Все эти проблемы, понятное дело, из-за спешного запуска - инструменты готовили к новой MoE архитектуре и поддержке openai-harmony. Допил любимых нами пакетов происходит прямо сейчас на наших глазах по сути.
Ждем пару недель, может месяц - тогда можно будет уже спокойно инференсить в проде и тюнить как душе угодно.

А теперь плюсы:
- Модель неплохо себя показывает в качестве судьи даже на zero-shot. Мне удалось достичь уровня между gpt5 и gpt5-mini на своих задачах.
- Есть мысли, как можно сделать из GPT-OSS хороший русскоязычный ризонер и генератор ризонинг трейсов для синтетики датасетов, которые потом можно будет и на других модельках применять.

Побежал оценивать расширение big-russian-dataset и делать новый датасет для русского ризонинга. О методике и результатах сообщу через несколько дней.

Работаем 💪

В догонку про production inference GPT-OSS

Ребята из baseten написали мини статью, как они инференсят gpt-oss в проде на нормальных скоростях.
Если кратко:
- Запускали на TensorRT. Попытки vllm/sglang безуспешны(кстати у меня sglang на 120b существенно больше VRAM требует по сравнению с vllm, не рекомендую его вообще).
- Для нормальной поддержки им пришлось использовать dev-сборку и немного пропатчить openai-harmony.
- Tensor Parallelism даёт меньшую задержку, а Expert Parallelism большую пропускную способность. В целом ожидаемо.
- Выложили примеры конфигов gpt-oss-120b/20b для TensorRT-LLM. Полезное.
- Ребята работают над созданием draft модели по принципу EAGLE-3, что ещё больше должно ускорить инференс. Будет круто, если модель выложат на hf.

Кстати, потестить их инференс можно на openrouter. Median Throughput у них там ~500 tok/s, что конечно же меньше Cerebras(ещё бы) и Groq, но всё равно шустро.