
## Prompt Caching FAQ:命中率、计价、何时关闭
OpenAI 官方 API 提供了 Prompt Caching 功能,核心目的是让重复的提示词(prompt)前缀只需处理一次,就能大幅降低延迟和成本。它特别适合长提示词、静态指令或工具内容固定的场景。以下内容直接回答:谁该用、怎么决策,以及如何用最少的代码实现最大收益。
核心概念与术语
- Prompt Caching(提示缓存):OpenAI 自动将提示词的可重用前缀缓存,未来请求命中时直接复用,避免重复推理。
- Cache Hit(缓存命中):提示词前缀完全匹配缓存记录,输入 tokens 按缓存输入价格计费。
- Cache Miss(缓存未命中):前缀不匹配,正常计费并尝试写入缓存。
- Cache Write(缓存写入):首次或变更新前缀写入缓存。
- prompt_cache_key:开发者手动指定的键,帮助系统路由到同一缓存节点,提高命中率。
- Cache Breakpoint(缓存断点):GPT-5.6 及以后模型通过模式(implicit / explicit)控制缓存位置。
- Cached tokens:官方响应中报告的命中 tokens 数量。
这些术语全部来自 OpenAI 官方文档,可直接对照平台计费页面验证当天单价。
决策表:适用场景与成本对比
| 场景 | 是否推荐使用 | 预期命中率 | 缓存输入单价 | 额外开销 | 适合人群 |
|---|---|---|---|---|---|
| 聊天机器人 / 客服机器人 | 是 | 80-95% | 0.5× 输入价 | 无(或写入时 1.25×) | 对话式应用,提示词重复高 |
| 代码助手 / 代理工作流 | 是 | 70-90% | 0.1× 输入价(GPT-5.6) | 写入时 1.25× | 长时间任务,静态提示词多 |
| 图像/视频生成工具 | 否 | 低 | 按模型标准 | 无特殊优惠 | 每一次输入完全不同 |
| 异步批量任务 | 条件允许 | 50-80% | 按模型标准 | 写入费用可能增加 | 每天多次相同前缀 |
| 动态内容为主(如用户数据) | 不推荐 | <30% | 按模型标准 | 写入频繁 | 每次输入差异大 |
数据来源:OpenAI 官方定价页面(gpt-5.6-sol 等旗舰模型示例:输入 $5/1M,缓存输入 $0.50/1M,写入 $6.25/1M)。实际单价以平台当日挂牌为准。
实操清单:分步可核对
1. 确定静态前缀:将系统提示、工具定义、常用指令放在提示词开头,动态部分放在后面。
2. 启用缓存:默认已开启,无需改代码;GPT-5.6 以后可通过 prompt_cache_options.mode 控制 implicit(默认)或 explicit。
3. 添加 prompt_cache_key:对共享相同静态内容的请求设置同一 key(如 session ID)。
4. 监控命中率:在响应中查看 cached_tokens 和 cache_write_tokens。
5. 测试命中:连续发送相同前缀请求,查看延迟下降 50-80% 和成本下降。
6. 定期关闭测试:关闭缓存后对比账单,确认是否需要重新启用。
常见坑与风险边界
- 前缀不精确:即使差一个词也不会命中,建议保持前后文严格一致。
- 缓存过期:GPT-5.6 后默认 30 分钟 TTL,短会话建议及时写入新缓存。
- 写入费用:较新模型写入缓存按 1.25× 输入价计费,首次使用时会增加单笔开支。
- 最小长度限制:前缀必须 ≥1024 tokens,否则无法缓存。
- 隐式断点失效:静态内容后跟随动态内容时,建议手动设置 explicit breakpoint。
- 路由不一致:未使用同一 prompt_cache_key 时,可能命中不同节点,效果变差。
重要声明:本内容仅为 OpenAICN 官方 API 计费对照站的技术解读参考,不构成任何投资、产品购买或服务建议。OpenAI 定价可能随时调整,请以 OpenAI 官方定价页面 为准。
站内路径:相关工具与页面
- OpenAI 官方 API 价格一览:查看模型缓存单价实时数据
- 官方 API 快速入门指南:了解 Responses API 中 prompt_cache_key 使用
- API 计费对账工具:一键对比缓存前后账单
- API 中转与路由教程:缓存命中率优化实战
- 完整计费指南:结合模型选型全面对账
延伸阅读
- OpenAI API 价格一览:实时查看每款模型缓存折扣
- 官方计费对账工具:上传账单自动拆分缓存开支
- API 路由与中转方案:提升缓存命中率的完整方案
- Prompt Caching 结构化提示技巧:如何让静态内容最大化复用
English summary
OpenAI's Prompt Caching is an official API feature that automatically reuses long identical prompt prefixes to reduce latency and input costs. It works for all recent models including gpt-4o and GPT-5.6 series. Cache hits bill tokens at a discounted rate (often 0.5x or 0.1x the normal input price), while cache misses incur full pricing plus a possible write fee on newer models. Best practices include placing static content at the start of prompts and using prompt_cache_key for consistent routing. Hit rates typically reach 70-95% in repetitive workflows like chatbots or agents. Always check the official pricing page for current rates, as they vary by model and context length. This FAQ helps developers decide whether to enable caching, optimize prompts, and avoid common pitfalls like prefix mismatches or TTL expiration. For real-time model comparison, visit OpenAI's pricing documentation directly.