🧠 图解记忆:先把三个目标变成带优先级的约束,例如关键任务的最低质量门槛、用户可接受的 P95 和单任务成本上限;点击图片可查看原图。
💡 答案要点
先把三个目标变成带优先级的约束,例如关键任务的最低质量门槛、用户可接受的 P95 和单任务成本上限。然后分解端到端数据,避免只优化模型调用。
可测试的杠杆包括:请求分类与模型路由、缩短无效上下文、检索和工具并行、缓存稳定结果、流式首 token、批处理离线任务、限制循环步数、为低风险任务使用较小模型。
每次只改变少量变量,比较质量切片、P50/P95、失败率和真实账单。若三者不可同时满足,应给客户展示 Pareto 方案并让业务 owner 选择,而不是隐藏质量下降。
