Skip to content
🔗 分享本题
查看我的学习进度 →

26 模块 Q13 教学图:如何为客户的 AI 工作流设计评测体系?

🧠 图解记忆:评测应从业务任务向下拆,而不是只看模型平均分;点击图片可查看原图。

💡 答案要点

评测应从业务任务向下拆,而不是只看模型平均分:

  1. 业务层:任务是否完成、节省了哪一步、人工是否采纳;
  2. 任务层:按意图、风险、语言、数据来源等切片统计成功和严重失败;
  3. 组件层:检索召回、工具选择、参数正确性、引用支持度;
  4. 系统层:延迟、可用性、成本、超时和降级率;
  5. 安全层:越权、注入、敏感数据、危险动作和拒答行为。

先从真实历史样本建立小而可信的黄金集,保存输入、期望、评分规则和来源;自动评分用于规模化,人审用于校准和高风险样本;线上反馈不能直接等同于正确答案。发布时比较候选版本与当前基线,并检查关键切片而非只看总体均值。

📚 参考:RAGAS(客户工作流评测体系参考)