🧠 图解记忆:评测应从业务任务向下拆,而不是只看模型平均分;点击图片可查看原图。
💡 答案要点
评测应从业务任务向下拆,而不是只看模型平均分:
- 业务层:任务是否完成、节省了哪一步、人工是否采纳;
- 任务层:按意图、风险、语言、数据来源等切片统计成功和严重失败;
- 组件层:检索召回、工具选择、参数正确性、引用支持度;
- 系统层:延迟、可用性、成本、超时和降级率;
- 安全层:越权、注入、敏感数据、危险动作和拒答行为。
先从真实历史样本建立小而可信的黄金集,保存输入、期望、评分规则和来源;自动评分用于规模化,人审用于校准和高风险样本;线上反馈不能直接等同于正确答案。发布时比较候选版本与当前基线,并检查关键切片而非只看总体均值。
📚 参考:RAGAS(客户工作流评测体系参考)
