🧠 图解记忆:先对齐线上输入、运行链路和业务目标,再解释评测跷跷板;点击图片可查看原图。
> "跷跷板效应"的系统化处理见 [20 · RAG 高级优化 Q27](/topics/20-rag-advanced-optimization/),本节给排查清单。排查顺序:
- 先怀疑评测集偏差: 离线问题分布和线上真实流量不一致(太简单/太偏);
- 再看指标错位: 离线测的是忠实度,线上用户关心的是速度/成本/能不能过审;
- 排查环境差异: 线上检索库更新了吗?上下文长度截断了吗?prompt 版本一致吗?
结论: 离线评测只能筛出"明显变差",筛不出"线上细节"——所以必须灰度。
📚 参考:RAGAS(离线/线上指标体系)
