技术分享：用上下文缓存与模型分级控制调用成本

模型 API 的调用成本由输入、输出与缓存命中三部分构成，三者分别列价。着手优化之前，建议先汇总一段时间内各请求返回的 usage，找出占比较高的部分，再决定从哪里入手。

在我们接触的业务中，输入 Tokens 往往占比偏高：系统提示词、检索片段与对话历史在每次请求中重复发送。输出偏长的场景则多见于摘要、改写与生成类任务。下面三项做法分别对应这些情况：

• 把固定内容放在提示词开头，提高缓存命中
• 按任务难度分级选择模型，简单任务使用轻量模型
• 离线任务错峰批量处理，并用 usage 做成本核算

每项调整都应先在评测集上确认效果不下降，再逐步扩大范围，并把单次请求的平均成本纳入运营报表持续跟踪。效果取决于业务请求结构，需按实际调用数据评估。