🧠 图解记忆:把模型、Prompt、工具定义、检索配置和安全策略都视为版本化依赖;点击图片可查看原图。
💡 答案要点
把模型、Prompt、工具定义、检索配置和安全策略都视为版本化依赖。
发布流程可以是:离线回放 → 关键切片门禁 → 影子流量 → 小比例 canary → 分租户扩大 → 全量。比较任务质量、严重失败、工具副作用、延迟和成本,任何总体提升都不能掩盖高风险切片回退。
保留当前稳定版本、配置快照和一键回滚;外部模型可能发生行为变化,因此关键场景需要定期回放,而不应假设固定模型名称永远等于固定行为。
📚 参考:promptfoo(回归测试防效果回退)
