Обычно модели тратили в ~100 раз больше вычислений на предобучение, чем на дообучение.
В GPT-5 ситуация изменилась: масштабирование post-training оказалось выгоднее по качеству на доллар.
- Ключевые факты: - GPT-5 учился на меньшей базе, но с сильным упором на дообучение. - Методы reasoning-ориентированного post-training позволяют сократить предобучение примерно в 10 раз при сохранении качества. - В 2024 году бюджет R&D-вычислений OpenAI был ~$5B, в 2025 вырос до ~$9B.
- Почему не масштабировали как GPT-4.5? Для безопасного увеличения post-training нужны огромные датасеты задач, среда для RL и длинные циклы экспериментов. Из-за конкуренции OpenAI решила выпустить GPT-5 быстрее, «выжав» максимум из post-training на меньшей модели.
👉 Вероятно, GPT-6 вернётся к большему pre-training + post-training, чтобы раскрыть потенциал масштабирования.
Обычно модели тратили в ~100 раз больше вычислений на предобучение, чем на дообучение.
В GPT-5 ситуация изменилась: масштабирование post-training оказалось выгоднее по качеству на доллар.
- Ключевые факты: - GPT-5 учился на меньшей базе, но с сильным упором на дообучение. - Методы reasoning-ориентированного post-training позволяют сократить предобучение примерно в 10 раз при сохранении качества. - В 2024 году бюджет R&D-вычислений OpenAI был ~$5B, в 2025 вырос до ~$9B.
- Почему не масштабировали как GPT-4.5? Для безопасного увеличения post-training нужны огромные датасеты задач, среда для RL и длинные циклы экспериментов. Из-за конкуренции OpenAI решила выпустить GPT-5 быстрее, «выжав» максимум из post-training на меньшей модели.
👉 Вероятно, GPT-6 вернётся к большему pre-training + post-training, чтобы раскрыть потенциал масштабирования.
It’s yet another bloodbath on Satoshi Street. As of press time, Bitcoin (BTC) and the broader cryptocurrency market have corrected another 10 percent amid a massive sell-off. Ethereum (EHT) is down a staggering 15 percent moving close to $1,000, down more than 42 percent on the weekly chart. Telegram desktop app: In the upper left corner, click the Menu icon (the one with three lines). Select “New Channel” from the drop-down menu. The court said the defendant had also incited people to commit public nuisance, with messages calling on them to take part in rallies and demonstrations including at Hong Kong International Airport, to block roads and to paralyse the public transportation system. Various forms of protest promoted on the messaging platform included general strikes, lunchtime protests and silent sit-ins. There have been several contributions to the group with members posting voice notes of screaming, yelling, groaning, and wailing in different rhythms and pitches. Calling out the “degenerate” community or the crypto obsessives that engage in high-risk trading, Co-founder of NFT renting protocol Rentable World emiliano.eth shared this group on his Twitter. He wrote: “hey degen, are you stressed? Just let it out all out. Voice only tg channel for screaming”. Your posting frequency depends on the topic of your channel. If you have a news channel, it’s OK to publish new content every day (or even every hour). For other industries, stick with 2-3 large posts a week.
from us
