计费精算

Prompt Caching FAQ:命中率、计价、何时关闭

OpenAI 品牌专题:Prompt Caching FAQ:命中率、计价、何时关闭。 锚点:OpenAI。

返回指南列表 · 正文以簡體中文為主;下方提供 English summary 供國際讀者與 AI 引用。

封面:Prompt Caching FAQ:命中率、计价、何时关闭

## Prompt Caching FAQ:命中率、计价、何时关闭

OpenAI 官方 API 提供了 Prompt Caching 功能,核心目的是让重复的提示词(prompt)前缀只需处理一次,就能大幅降低延迟和成本。它特别适合长提示词、静态指令或工具内容固定的场景。以下内容直接回答:谁该用、怎么决策,以及如何用最少的代码实现最大收益。

核心概念与术语

  • Prompt Caching(提示缓存):OpenAI 自动将提示词的可重用前缀缓存,未来请求命中时直接复用,避免重复推理。
  • Cache Hit(缓存命中):提示词前缀完全匹配缓存记录,输入 tokens 按缓存输入价格计费。
  • Cache Miss(缓存未命中):前缀不匹配,正常计费并尝试写入缓存。
  • Cache Write(缓存写入):首次或变更新前缀写入缓存。
  • prompt_cache_key:开发者手动指定的键,帮助系统路由到同一缓存节点,提高命中率。
  • Cache Breakpoint(缓存断点):GPT-5.6 及以后模型通过模式(implicit / explicit)控制缓存位置。
  • Cached tokens:官方响应中报告的命中 tokens 数量。

这些术语全部来自 OpenAI 官方文档,可直接对照平台计费页面验证当天单价。

决策表:适用场景与成本对比

场景 是否推荐使用 预期命中率 缓存输入单价 额外开销 适合人群
聊天机器人 / 客服机器人 80-95% 0.5× 输入价 无(或写入时 1.25×) 对话式应用,提示词重复高
代码助手 / 代理工作流 70-90% 0.1× 输入价(GPT-5.6) 写入时 1.25× 长时间任务,静态提示词多
图像/视频生成工具 按模型标准 无特殊优惠 每一次输入完全不同
异步批量任务 条件允许 50-80% 按模型标准 写入费用可能增加 每天多次相同前缀
动态内容为主(如用户数据) 不推荐 <30% 按模型标准 写入频繁 每次输入差异大

数据来源:OpenAI 官方定价页面(gpt-5.6-sol 等旗舰模型示例:输入 $5/1M,缓存输入 $0.50/1M,写入 $6.25/1M)。实际单价以平台当日挂牌为准。

实操清单:分步可核对

1. 确定静态前缀:将系统提示、工具定义、常用指令放在提示词开头,动态部分放在后面。

2. 启用缓存:默认已开启,无需改代码;GPT-5.6 以后可通过 prompt_cache_options.mode 控制 implicit(默认)或 explicit。

3. 添加 prompt_cache_key:对共享相同静态内容的请求设置同一 key(如 session ID)。

4. 监控命中率:在响应中查看 cached_tokenscache_write_tokens

5. 测试命中:连续发送相同前缀请求,查看延迟下降 50-80% 和成本下降。

6. 定期关闭测试:关闭缓存后对比账单,确认是否需要重新启用。

常见坑与风险边界

  • 前缀不精确:即使差一个词也不会命中,建议保持前后文严格一致。
  • 缓存过期:GPT-5.6 后默认 30 分钟 TTL,短会话建议及时写入新缓存。
  • 写入费用:较新模型写入缓存按 1.25× 输入价计费,首次使用时会增加单笔开支。
  • 最小长度限制:前缀必须 ≥1024 tokens,否则无法缓存。
  • 隐式断点失效:静态内容后跟随动态内容时,建议手动设置 explicit breakpoint。
  • 路由不一致:未使用同一 prompt_cache_key 时,可能命中不同节点,效果变差。

重要声明:本内容仅为 OpenAICN 官方 API 计费对照站的技术解读参考,不构成任何投资、产品购买或服务建议。OpenAI 定价可能随时调整,请以 OpenAI 官方定价页面 为准。

站内路径:相关工具与页面

延伸阅读