ИИволюция 👾

Как сэкономить до 4 раз на длинных промптах в OpenAI API

Если вы (ваш стартап/продукт/сервис) часто отправляете в OpenAI один и тот же системный промпт — вы можете значительно сэкономить за счёт кеширования Prompt Caching (мне кажется мало кто об этом знает и использует эту экономию по максимуму).

Что это такое
OpenAI автоматически кеширует начало промпта (префикс), если оно уже обрабатывалось недавно. Это позволяет не пересчитывать его заново при каждом запросе.

Результат:
– задержка может снизиться до -80%,
– стоимость токенов для префикса — до -50%.

Когда работает кеш
– Срабатывает, если промпт длиннее 1024 токенов
– Проверяется, не был ли этот префикс использован недавно
– Время жизни кеша — 5–10 минут, иногда до часа (если не было запросов, кеш очищается).

Подходит для случаев, когда много запросов отправляются с одинаковым началом.

Что считается совпадением
Промпт должен совпадать с точностью до символа: пробелы, порядок строк и даже кавычки имеют значение. Кеш работает блоками: 1024, 1152, 1280 токенов и далее с шагом 128 токенов (в зависимости от длины вашего входного промпта).

Что кешируется
– System-промпт
– Инструкции, примеры, структура вывода
– Список инструментов
– Изображения (когда они передаются как base64 и если одинаковые каждый раз)
Важно: Все эти элементы должны быть в начале промпта.

Как понять, что кеш сработал
Смотрите поле cached_tokens в ответе API. Если значение больше нуля — часть промпта взята из кеша.

Нужно ли что-то включать
Нет. Кеш работает автоматически, без настроек и доплат. Он встроен во все модели начиная с gpt-4o.

Рекомендации
– Фиксируйте начало промпта (префикс должен оставаться статичным)
– Избегайте мелких правок и случайных изменений
– Динамический контент — в конец

Если вы работаете с длинными и повторяющимися промптами — кеш поможет значительно сократить расходы и ускорить работу. Подробнее о кешировании в OpenAI API читать тут.

ИИволюция

www.tgoop.com/ai_volution/1242

4.1K viewsСергей Пахандрин, May 12 at 16:50

Как сэкономить до 4 раз на длинных промптах в OpenAI API

Если вы (ваш стартап/продукт/сервис) часто отправляете в OpenAI один и тот же системный промпт — вы можете значительно сэкономить за счёт кеширования Prompt Caching (мне кажется мало кто об этом знает и использует эту экономию по максимуму).

Что это такое
OpenAI автоматически кеширует начало промпта (префикс), если оно уже обрабатывалось недавно. Это позволяет не пересчитывать его заново при каждом запросе.

Результат:
– задержка может снизиться до -80%,
– стоимость токенов для префикса — до -50%.

Когда работает кеш
– Срабатывает, если промпт длиннее 1024 токенов
– Проверяется, не был ли этот префикс использован недавно
– Время жизни кеша — 5–10 минут, иногда до часа (если не было запросов, кеш очищается).

Подходит для случаев, когда много запросов отправляются с одинаковым началом.

Что считается совпадением
Промпт должен совпадать с точностью до символа: пробелы, порядок строк и даже кавычки имеют значение. Кеш работает блоками: 1024, 1152, 1280 токенов и далее с шагом 128 токенов (в зависимости от длины вашего входного промпта).

Что кешируется
– System-промпт
– Инструкции, примеры, структура вывода
– Список инструментов
– Изображения (когда они передаются как base64 и если одинаковые каждый раз)
Важно: Все эти элементы должны быть в начале промпта.

Как понять, что кеш сработал
Смотрите поле cached_tokens в ответе API. Если значение больше нуля — часть промпта взята из кеша.

Нужно ли что-то включать
Нет. Кеш работает автоматически, без настроек и доплат. Он встроен во все модели начиная с gpt-4o.

Рекомендации
– Фиксируйте начало промпта (префикс должен оставаться статичным)
– Избегайте мелких правок и случайных изменений
– Динамический контент — в конец

Если вы работаете с длинными и повторяющимися промптами — кеш поможет значительно сократить расходы и ускорить работу. Подробнее о кешировании в OpenAI API читать тут.

ИИволюция

BY ИИволюция 👾