Skip to content
🔗 分享本题
查看我的学习进度 →

26 模块 Q5 教学图:你如何定义 POC 成功,避免“Demo 很惊艳,上线没人用”?

🧠 图解记忆:业务结果:处理时间、一次解决率、人工接管量或其他相对当前基线的变化;点击图片可查看原图。

💡 答案要点

成功标准至少包含四层:

  • 业务结果:处理时间、一次解决率、人工接管量或其他相对当前基线的变化;
  • 任务质量:按真实任务分层后的正确性、完整性、拒答和严重错误率;
  • 系统质量:端到端延迟、可用性、失败恢复、单位任务成本;
  • 采用情况:目标用户覆盖、重复使用、任务完成率、反馈和绕过系统的原因。

在开始 POC 前锁定评测集、基线、观察窗口、不可接受失败和 go/no-go 决策人。不要只用“用户觉得不错”或离线平均分验收,也不要事后挑选有利样本。

📚 参考:Anthropic:Building Effective Agents(评估驱动开发)