🧠 图解记忆: 公共前缀越长、命中越频繁,RadixAttention 越值;前缀各不相同就难获益。
💡 答案要点
最佳场景:多轮对话 + 前缀复用
| 场景 | 前缀特征 | 缓存收益 |
|---|---|---|
| 客服机器人 | System prompt 相同 | 高 |
| AI 助教 | Few-shot examples 相同 | 高 |
| 代码助手 | 项目 context 相同 | 高 |
| 单轮问答 | 无前缀复用 | 无收益 |
如何验证 Agent/多轮场景的收益:
| 变量 | 观察指标 |
|---|---|
| 共享 system prompt / 工具定义长度 | 缓存命中率、复用 token 数 |
| 对话轮数与分支方式 | TTFT、KV Cache 占用、淘汰率 |
| 并发和请求到达分布 | 吞吐、P95/P99、排队时间 |
面试话术:
"Agent 请求常共享 system prompt、工具定义和部分对话历史,因此是前缀缓存值得重点验证的场景。是否显著受益取决于共享前缀长度、命中率、缓存容量与淘汰策略;应对比 TTFT、吞吐和 KV Cache 占用,而不是套用固定节省比例。"
