tgoop.com/llm_under_hood/631
Last Update:
Проблемы с GPT-5 моделями у OpenAI
Итак, исходные веса gpt-oss OpenAI моделей - это, на мой взгляд, самое крутое, что давали в свободное пользование со времен Llama. Модели очень хороши и умны.
Но вот с реализацией reasoning у линейки GPT-5 есть вопросы.
Во-первых, при запуске gpt-5/mini/nano (OpenAI API) со Structured Outputs код периодически падает с ошибкой парсинга. Хотя, казалось бы, такое не должно быть возможным - как может constrained decoding по схеме генерировать код, который не соответствует схеме?
При этом тот же код никогда не падает при работе с gpt-4o.
Скорее всего, проблема в том, как constrained decoding интегрировали в новую reasoning схему у gpt-5-mini/nano на новых inference серверах.
Во-вторых, GPT-5 Pro (самая умная) субъективно заметно поглупела. Например, если просто взять весь код с этой ошибкой парсинга и задать вопрос в DeepResearch про первопричины, то эта модель откровенно начинает глупить: "а в чем проблема? А как должен работать constrained decoding? итп". Плюс в процессе работы постоянно упускает из виду моменты, про которые мы уже говорили в рамках контекста.
Та же o3 работает куда лучше и сразу самостоятельно начинает копать в первопричины.
Но в итоге обе сходятся во мнении, что проблема, скорее всего, в сырой реализации constrained decoding на моделях GPT-5.
TLDR;
- gpt-5 в OpenAI API пока плохо работают с Structured Outputs. Ждем фиксов или используем локально gpt-oss со своим constrained decoding
- GPT 5 Pro субъективно стал слабее. Используем пока o3.
Замечали такое?
Постоянные читатели канала помнят, что такое у OpenAI происходит периодически:
- Сначала они выпускают что-то мощное.
- Потом - делают подешевле и поглупее
- И только потом делают снова умнее, сохряняя дешевизну
Поэтому снова ждем третьей стадии
Ваш, @llm_under_hood 🤗
BY LLM под капотом
Share with your friend now:
tgoop.com/llm_under_hood/631