Skip to content
🔗 分享本题
查看我的学习进度 →

推理框架专题第12题核心机制与工程取舍图解

🧠 图解记忆: 公共前缀越长、命中越频繁,RadixAttention 越值;前缀各不相同就难获益。

💡 答案要点

最佳场景:多轮对话 + 前缀复用

场景前缀特征缓存收益
客服机器人System prompt 相同
AI 助教Few-shot examples 相同
代码助手项目 context 相同
单轮问答无前缀复用无收益

如何验证 Agent/多轮场景的收益:

变量观察指标
共享 system prompt / 工具定义长度缓存命中率、复用 token 数
对话轮数与分支方式TTFT、KV Cache 占用、淘汰率
并发和请求到达分布吞吐、P95/P99、排队时间

面试话术:

"Agent 请求常共享 system prompt、工具定义和部分对话历史,因此是前缀缓存值得重点验证的场景。是否显著受益取决于共享前缀长度、命中率、缓存容量与淘汰策略;应对比 TTFT、吞吐和 KV Cache 占用,而不是套用固定节省比例。"