tgoop.com/neural_cat/110
Last Update:
OpenAI релизнули новую фичу, которая ускоряет генерацию — Predicted Outputs
Для задач, где требуется редактирование ответа (например, кодинг), теперь можно передать новый параметр`prediction` в completions API.
Работает примерно так:
1. Мы показываем, какой ответ должен быть
2. Chatgpt одним форвард пассом понимает, где надо исправить ответ (или не одним, если исправлять надо в нескольких местах)
3. Исправляет ответ только там, где надо
Итого, тратится на ~порядок меньше форард пассов.
🔹Gpt-4o по скорости на таких задачах становится быстрее Haiku от антропика
🔹НО вас все равно чарджат за ваш "драфтовый" ответ по цене completion токенов
И Анонс в твиттере
@neural_cat