🧠 记忆锚点：离线找问题，CI 防回归，灰度控风险，线上监控发现分布漂移；失败样本回流但盲测保持隔离。
核心概念：RAG 评估是分层级的，不同时机用不同工具
"2026 年 RAG 评估已经形成清晰的三层架构：RAGAS 用于探索阶段快速验证概念，DeepEval 用于 CI/CD 自动化回归测试，Patronus 用于生产环境持续监控。这三层不是替代关系，是递进关系——团队规模越大、线上流量越多，越需要这三层配合。"
RAG 评估三阶段：
| 阶段 | 工具 | 目的 | 时机 |
|---|---|---|---|
| 探索阶段 | RAGAS | 快速验证 RAG 概念，调试检索/生成 | 项目立项、方案设计 |
| CI/CD 阶段 | DeepEval | 自动化回归测试，防止代码变更破坏 RAG | 开发迭代、每次 MR |
| 生产监控 | Patronus | 持续监控线上 RAG 质量，捕获幻觉和退化 | 每日运行、Release 前 |
RAGAS（探索阶段）：
"RAGAS 是 2024 年最流行的 RAG 评估框架，核心理念是'reference-free evaluation'——不需要人工标注正确答案，直接用 LLM-as-a-Judge 评估四个核心指标：Faithfulness（答案是否基于上下文）、Answer Relevancy（答案是否切题）、Context Precision（检索块的相关性）、Context Recall（相关上下文是否都被召回）。适合项目早期快速验证。"
# RAGAS 快速评估（探索阶段）
from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_precision, context_recall
results = evaluate(
dataset=[{
"user_input": "公司去年营收多少？",
"retrieved_contexts": ["2023年营收增长40%"],
"response": "公司去年营收增长了40%",
"ground_truth": "2023年营收增长40%"
}],
metrics=[faithfulness, answer_relevancy, context_precision, context_recall]
)
print(results)
# Faithfulness: 0.85, Answer Relevancy: 0.92DeepEval（CI/CD 阶段）：
"DeepEval 是 Confident AI 开发的开源框架，设计理念是'Pytest for LLM'——让评估在 CI pipeline 里跑，每次 MR 自动回归。它的优势是测试函数化、集成方便，缺点是没有托管平台（协作界面、生产报告）。适合团队有工程化能力，需要把评估跑进自动化流程的场景。"
# DeepEval：在 CI 里跑 RAG 回归测试
import deepeval
from deepeval import assert_equal
@deepeval.test
def test_rag_faithfulness():
metric = FaithfulnessMetric(threshold=0.8)
result = evaluate(
input="What did the company achieve in 2024?",
actual_output="The company grew revenue 40%...",
context=["2024: revenue grew 40%", "2024: expanded to 30 countries"]
)
assert metric.measure() > 0.8
# 在 CI pipeline 里运行
# pytest tests/test_rag.py # 每次 MR 自动跑Patronus（生产监控阶段）：
"Patronus AI 是 2026 年生产级 RAG 监控的事实标准。它的核心差异是'Lynx 模型'——专门训练过来检测幻觉，不需要人工标注。生产环境里每天跑 Patronus 监控，可以第一时间发现 RAG 退化（知识库更新后质量下降、检索策略变更后召回率下降）。Databricks 集成是它企业级客户的核心场景。"
LLM-as-a-Judge 的成本经济学：
"2026 年评估成本已经降到 $0.001-0.003 per test case，比人工标注便宜 10-100 倍。但注意：不是所有场景都能用 LLM-as-a-Judge——医疗诊断、法律合规等高风险场景，仍然需要人工专家审核。"
| 场景 | 评估方式 | 原因 |
|---|---|---|
| 日常回归测试 | LLM-as-a-Judge | 成本低、速度快 |
| Release 门禁 | LLM-as-a-Judge + 人工抽检 | 自动化 + 安全冗余 |
| 高风险场景 | 人工专家审核 | 合规要求、错误代价高 |
| 调试定位 | LLM-as-a-Judge + trace 分析 | 快速定位根因 |
2026 年 RAG 评估 Checklist：
1. 探索阶段（项目立项）：
→ 用 RAGAS 快速验证概念
→ 定义Faithfulness/Answer Relevancy 基准线
2. 开发阶段（CI/CD）：
→ 用 DeepEval 把评估跑进 MR pipeline
→ 每次代码变更自动回归
→ 记录每次评估分数的 trend
3. 上线阶段（Release 门禁）：
→ 用 Patronus 做生产级评估
→ 设置幻觉率告警阈值（如 >5% 触发告警）
→ 每次知识库更新后跑完整评估套件
4. 持续监控（日常运维）：
→ Patronus 每日采样线上流量评估
→ 监控Faithfulness/Answer Relevancy 趋势
→ 分数下降 >10% 自动触发审查面试话术：
"2026 年生产级 RAG 评估不是单点工具，是三阶段 pipeline：RAGAS 快速验证（探索阶段），DeepEval 自动化回归（CI/CD），Patronus 生产监控（线上）。核心洞察是'评估时机'——探索阶段用 RAGAS 调试方案，开发阶段用 DeepEval 防回归，上线后用 Patronus 监控质量。这套流程跑顺了，才能说 RAG 系统是生产级可靠的。面试时能说清楚 RAG 评估的完整生命周期，说明你不只是在用工具，而是在理解 AI 工程的工程化实践。"
延伸阅读：
- RAGAS: https://docs.ragas.io
- DeepEval: https://github.com/confident-ai/deepeval
- Patronus AI: https://www.patronus.ai
- RAG Evaluation 2026 Guide: https://datavlab.ai/post/rag-evaluation-methods-metrics-2026-guide
📚 参考：RAGAS：RAG 评估与生产监控