AI Agent八股

主题

🔗 分享本题
查看我的学习进度 →
🔥 AI 应用安全与评估面试题

Agent 数据集、实验、轨迹、CI、线上监控和人工复核评估闭环选型图

🧠 记忆锚点：平台选型看数据集、实验、轨迹、CI、线上监控和协作是否打通；先做最小闭环，再比较产品。

💡 答案要点

2026 Agent 评估平台格局：

┌─────────────────────────────────────────────────────┐
│         2026 Agent 评估平台生态图                   │
├─────────────────────────────────────────────────────┤
│                                                     │
│  开源框架（Code-first）                              │
│  ├─ DeepEval：Pytest-style，本地 CI                 │
│  ├─ Promptfoo：安全测试 + LLM 评估                  │
│  └─ UpTrain：开源，RAG/Agent 评估                    │
│                                                     │
│  托管平台（Production）                             │
│  ├─ Braintrust：全生命周期，团队协作               │
│  ├─ LangSmith：LangChain 原生，Multi-turn 强        │
│  ├─ Weave：W&B 生态，生产级 tracing                 │
│  ├─ Langfuse：开源可自托管，成长型团队              │
│  └─ Arize Phoenix：ML/LLM 可观测性                  │
│                                                     │
└─────────────────────────────────────────────────────┘

DeepEval（Braintrust 开源替代）：

"DeepEval 是 Confident AI 开发的开源评估框架，设计理念是'Pytest for LLM'——让评估像单元测试一样在 CI 里跑。它的优势是快速、本地化，缺点是缺少托管功能（协作界面、生产监控）。"

特性说明
设计哲学测试驱动，CI 友好
**核心指标幻觉率、 faithfulness、answer quality
**适用场景代码优先团队，GitHub Actions CI
**优点快速、便宜、本地
**缺点无托管界面，团队协作弱
python
# DeepEval 示例：像 Pytest 一样评估 RAG
import deepeval
from deepeval.metrics import FaithfulnessMetric, AnswerRelevancyMetric

@deepeval.test
def test_rag_faithfulness():
    metric = FaithfulnessMetric(threshold=0.8)
    result = evaluate(
        input="What did the company achieve in 2024?",
        actual_output="The company grew revenue 40%...",
        context=["2024: revenue grew 40%", "2024: expanded to 30 countries"]
    )
    assert metric.measure() > 0.8

Braintrust（DeepEval 商业版 + 全生命周期）：

"Braintrust 是 DeepEval 的商业版，解决了开源框架'只管本地执行，不管生产监控'的问题。它覆盖评估的定义 → 执行 → 监控 → 发布全流程，是 2026 年企业级 Agent 评估的事实标准。"

特性说明
设计哲学全生命周期，团队协作
**核心能力评估定义 + 自动化执行 + 生产监控 + Release门禁
**适用场景中大型团队，跨职能协作
**优点全生命周期、托管、团队协作
**缺点收费（$75/mo 起），成本高
**评分方式领域专家定义标准，非工程师也能参与
python
# Braintrust：领域专家定义评估标准（无需工程师）
from braintrust import Span

# 领域专家通过 UI 定义标准，工程师只需调用 API
Span.update({
    "quality_score": evaluate_response_quality(response),
    "safety_score": evaluate_safety(response),
    "business_metric": evaluate_business_impact(response)
})

Patronus AI（生产级幻觉检测 + RAG 评估）：

"Patronus AI 是 2026 年增长最快的 AI 评估平台，核心能力是'自动化幻觉检测'——不需要人工标注，直接用 Lynx 模型判断答案是否在上下文里 hallucinate。它的定位介于 DeepEval（开发阶段）和 Braintrust（项目管理）之间，更偏向生产监控和回归测试。"

特性说明
设计哲学生产级自动化评估，零人工标注
核心能力Lynx 幻觉检测模型 + HaluBench 数据集 + Patronus Suite
适用场景RAG 生产监控、幻觉检测、答案可信度评估
优点自动化程度高、专门做幻觉检测、与 Databricks 深度集成
缺点平台锁定、生态相对封闭
Lynx 模型基于 Llama-3-70B 微调，幻觉检测准确率超越 GPT-4o
价格Enterprise 定价（无公开价格）
python
# Patronus AI：生产环境 RAG 评估
from patronus import PatronusClient

client = PatronusClient(api_key="patronus-api-key")

# 评估 RAG 答案的幻觉程度
result = client.evaluate(
    question="公司2024年营收增长了多少？",
    context=["2024年营收增长40%", "2024年新增30个国家市场"],
    answer="2024年公司营收增长了40%，并扩展到30个国家",
    metrics=["faithfulness", "answer_relevancy", "context_precision"]
)

print(f"幻觉率: {result.hallucination_score:.2%}")
print(f"答案相关性: {result.answer_relevancy:.2%}")

Weave（W&B 生产级 tracing）：

"Weave 是 Weights & Biases 的 LLM 评估组件，适合已经在用 W&B 的团队。它的核心优势是生产级 tracing + 本地评分器，缺点是与 W&B 强绑定。"

特性说明
设计哲学生产级 tracing + 实验跟踪
**核心能力步骤级 tracing、多模型对比、成本监控
**适用场景已有 W&B 团队、需要端到端可观测性
**优点与 W&B 生态集成、生产级稳定性
**缺点平台锁定、学习曲线
**价格$60/mo

Langfuse（开源可自托管）：

"Langfuse 是 2026 年成长最快的开源 LLM 可观测性平台，核心优势是'可自托管'——数据不出境，适合合规要求严格的团队。相比 LangSmith，价格更低，适合 10-50 人团队。"

特性说明
设计哲学开源可自托管，成本可控
**核心能力Tracing、Prompt 管理、评估、数据集
**适用场景中小型团队、合规要求高
**优点自托管、数据主权、社区活跃
**缺点功能比 LangSmith 少
**价格开源免费，SaaS $29/mo

LangSmith（LangChain 原生）：

"LangSmith 是 LangChain 官方平台，2026 年对 LangGraph 的支持最深度——multi-turn tracing、step-level 评分、human-in-the-loop 集成都是原生支持。如果你用 LangGraph，选 LangSmith 是最顺的选择。"

特性说明
设计哲学LangGraph 原生，多轮 Agent 评估
**核心能力Multi-turn tracing、step-level 评分、Dataset + Playground
**适用场景LangGraph 用户、多轮 Agent 系统
**优点LangGraph 集成最深、多 Agent 评估强
**缺点只支持 LangChain/LangGraph
**价格$39/seat/mo

评估平台选型决策树：

团队规模？
├── 小团队（< 5人）→ DeepEval（开源免费）
└── 中大团队（> 5人）→
    ├── 技术栈：LangGraph？
    │   ├── 是 → LangSmith（原生集成）
    │   └── 否 →
    │       ├── 合规要求高（数据不出境）？
    │       │   ├── 是 → Langfuse（自托管）
    │       │   └── 否 →
    │       │       ├── 需要全生命周期？
    │       │       │   ├── 是 → Braintrust
    │       │       │   └── 否 →
    │       │       │       ├── 已有 W&B？
    │       │       │       │   ├── 是 → Weave
    │       │       │       │   └── 否 → Langfuse

2026年 Agent 评估最佳实践：

1. 分层评估：
   - 单元测试：DeepEval（本地方便，CI 集成）
   - 集成测试：Langfuse（团队协作，数据管理）
   - 生产监控：Braintrust / LangSmith（Release 门禁）

2. 评估驱动开发（Eval-Driven Development）：
   - 先定义"成功"的定义（评估标准）
   - 开发 → 跑评估 → 迭代
   - 避免"做完再测"的返工

3. 领域专家参与评估：
   - 工程师定义指标，领域专家定义标准
   - Braintrust 的 no-code interface 让非工程师也能定义标准

4. 持续监控：
   - 每次部署前跑评估套件
   - 生产环境持续采样监控
   - 分数下降立即告警

面试话术：

"2026 年 Agent 评估已经从'单点工具'变成'全生命周期平台'。选型的核心判断是：团队规模、技术栈、合规要求。小团队用 DeepEval 省成本；LangGraph 用户用 LangSmith；合规要求高用 Langfuse 自托管；中大团队需要全生命周期用 Braintrust。我的经验是'分层评估'——本地用 DeepEval 快速迭代，CI 用 Langfuse 团队协作，生产用 Braintrust 做 Release 门禁。面试能说清楚各平台适用场景，说明你对 2026 年 LLMOps 有系统理解，不是只会调一个工具。"

延伸阅读：