Skip to content
🔗 分享本题
查看我的学习进度 →

28 模块 Q14 教学图:离线评测高分但线上效果变差时如何排查评测跷跷板?

🧠 图解记忆:先对齐线上输入、运行链路和业务目标,再解释评测跷跷板;点击图片可查看原图。

> "跷跷板效应"的系统化处理见 [20 · RAG 高级优化 Q27](/topics/20-rag-advanced-optimization/),本节给排查清单。

排查顺序:

  1. 先怀疑评测集偏差: 离线问题分布和线上真实流量不一致(太简单/太偏);
  2. 再看指标错位: 离线测的是忠实度,线上用户关心的是速度/成本/能不能过审;
  3. 排查环境差异: 线上检索库更新了吗?上下文长度截断了吗?prompt 版本一致吗?

结论: 离线评测只能筛出"明显变差",筛不出"线上细节"——所以必须灰度。


📚 参考:RAGAS(离线/线上指标体系)