OpenAI улучшила кэширование промптов для GPT-6
В API GPT-6 повысили вероятность попадания запросов в кэш по умолчанию и добавили инструменты для анализа промахов. На кэшируемые входные токены действует скидка до 90%.
OpenAI объявила об обновлении системы кэширования промптов в API для семейства моделей GPT-6. Компания заявляет, что новая схема по умолчанию обеспечивает более высокую долю попаданий в кэш, что должно сократить задержки и расходы в приложениях с агентами.
Кэширование позволяет повторно использовать вычисления для общей части последовательных запросов — например, системных инструкций, описаний инструментов и контекста из предыдущих сообщений. Скидка на кэшированные входные токены может достигать 90%.
Теперь скидка применяется к подходящим общим префиксам, повторно использованным в пределах 30 минут. OpenAI также представила Prompt Caching Dashboard: в нём можно отслеживать долю запросов, обслуженных из кэша, и сравнивать число кэшированных и некэшированных токенов.
Для разбора неожиданных промахов доступна диагностика кэша. Она сопоставляет запрос с недавним ответом и указывает, какие изменения — в модели, инструментах, настройках или входных данных — помешали повторному использованию контекста. В диагностике также приводится оценка числа затронутых токенов.
Разработчики могут явно задавать границы кэшируемой части промпта. Кроме того, в GPT-6 разрешено менять уровень reasoning effort между ответами через configuration_update без потери кэша: параметр уровня рассуждений на уровне самого запроса при этом остаётся неизменным.
OpenAI рекомендует сохранять определения, схемы и порядок инструментов, если контекст нужно повторно использовать. Вместо удаления инструментов из запроса компания предлагает ограничивать доступные инструменты через allowed_tools либо отключать их вызов с помощью tool_choice: none. Для сокращения времени ожидания первого ответа также доступен предварительный прогрев кэша с общими инструкциями, описаниями инструментов или справочными материалами.