
## Prompt Caching FAQ:命中率、计价、何时关闭
OpenAI 官方 API 提供了 Prompt Caching 功能,核心目的是让重复的提示词(prompt)前缀只需处理一次,就能大幅降低延迟和成本。它特别适合长提示词、静态指令或工具内容固定的场景。以下内容直接回答:谁该用、怎么决策,以及如何用最少的代码实现最大收益。
核心概念与术语
- Prompt Caching(提示缓存):OpenAI 自动将提示词的可重用前缀缓存,未来请求命中时直接复用,避免重复推理。
- Cache Hit(缓存命中):提示词前缀完全匹配缓存记录,输入 tokens 按缓存输入价格计费。
- Cache Miss(缓存未命中):前缀不匹配,正常计费并尝试写入缓存。
- Cache Write(缓存写入):首次或变更新前缀写入缓存。
- prompt_cache_key:开发者手动指定的键,帮助系统路由到同一缓存节点,提高命中率。
- Cache Breakpoint(缓存断点):GPT-5.6 及以后模型通过模式(implicit / explicit)控制缓存位置。
- Cached tokens:官方响应中报告的命中 tokens 数量。
这些术语全部来自 OpenAI 官方文档,可直接对照平台计费页面验证当天单价。
决策表:适用场景与成本对比
| 场景 | 是否推荐使用 | 预期命中率 | 缓存输入单价 | 额外开销 | 适合人群 |
|---|---|---|---|---|---|
| 聊天机器人 / 客服机器人 | 是 | 80-95% | 0.5× 输入价 | 无(或写入时 1.25×) | 对话式应用,提示词重复高 |
| 代码助手 / 代理工作流 | 是 | 70-90% | 0.1× 输入价(GPT-5.6) | 写入时 1.25× | 长时间任务,静态提示词多 |
| 图像/视频生成工具 | 否 | 低 | 按模型标准 | 无特殊优惠 | 每一次输入完全不同 |
| 异步批量任务 | 条件允许 | 50-80% | 按模型标准 | 写入费用可能增加 | 每天多次相同前缀 |
| 动态内容为主(如用户数据) | 不推荐 | <30% | 按模型标准 | 写入频繁 | 每次输入差异大 |
数据来源:OpenAI 官方定价页面(gpt-5.6-sol 等旗舰模型示例:输入 $5/1M,缓存输入 $0.50/1M,写入 $6.25/1M)。实际单价以平台当日挂牌为准。
实操清单:分步可核对
1. 确定静态前缀:将系统提示、工具定义、常用指令放在提示词开头,动态部分放在后面。
2. 启用缓存:默认已开启,无需改代码;GPT-5.6 以后可通过 prompt_cache_options.mode 控制 implicit(默认)或 explicit。
3. 添加 prompt_cache_key:对共享相同静态内容的请求设置同一 key(如 session ID)。
4. 监控命中率:在响应中查看 cached_tokens 和 cache_write_tokens。
5. 测试命中:连续发送相同前缀请求,查看延迟下降 50-80% 和成本下降。
6. 定期关闭测试:关闭缓存后对比账单,确认是否需要重新启用。
常见坑与风险边界
- 前缀不精确:即使差一个词也不会命中,建议保持前后文严格一致。
- 缓存过期:GPT-5.6 后默认 30 分钟 TTL,短会话建议及时写入新缓存。
- 写入费用:较新模型写入缓存按 1.25× 输入价计费,首次使用时会增加单笔开支。
- 最小长度限制:前缀必须 ≥1024 tokens,否则无法缓存。
- 隐式断点失效:静态内容后跟随动态内容时,建议手动设置 explicit breakpoint。
- 路由不一致:未使用同一 prompt_cache_key 时,可能命中不同节点,效果变差。
重要声明:本内容仅为 OpenAICN 官方 API 计费对照站的技术解读参考,不构成任何投资、产品购买或服务建议。OpenAI 定价可能随时调整,请以 OpenAI 官方定价页面 为准。
站内路径:相关工具与页面
- OpenAI 官方 API 价格一览:查看模型缓存单价实时数据
- 官方 API 快速入门指南:了解 Responses API 中 prompt_cache_key 使用
- API 计费对账工具:一键对比缓存前后账单
- API 中转与路由教程:缓存命中率优化实战
- 完整计费指南:结合模型选型全面对账
延伸阅读
- OpenAI API 价格一览:实时查看每款模型缓存折扣
- 官方计费对账工具:上传账单自动拆分缓存开支
- API 路由与中转方案:提升缓存命中率的完整方案
- Prompt Caching 结构化提示技巧:如何让静态内容最大化复用