🧠 图解记忆:离线守住回归,线上验证价值,真实失败再反哺离线集;点击图片可查看原图。
| 维度 | 离线评测 | 线上评测 | |------|----------|----------| | 速度/成本 | 快、便宜、可重复 | 慢、贵、真实 | | 评测对象 | 模型能力(评测集批量跑) | 用户行为(点击率、采纳率、留存) | | 结论 | 测"能力",不测"用户行为" | 测"真实效果" |结论: 离线筛选,线上验证——离线过了才上灰度,线上数据再回流补离线集,形成闭环。
面试话术:
"离线评测快、便宜、可重复,但测的是模型能力不是用户行为;线上用灰度看点击率、采纳率。我的做法是离线筛选、线上验证,线上数据再回流补离线评测集,形成闭环。"
