🧠 图解记忆：语音评测不能只看准确率，还要把时延、打断和对话体验纳入同一取舍；点击图片可查看原图。
💡 答案要点
背景问题：Voice Agent 评估的困境
对话式语音 Agent 有两个核心目标：
- Accuracy（准确性）——正确完成用户任务
- Experience（体验）——自然、简洁、符合口语交互
这两个目标经常冲突：听错确认码 = 即使 LLM 推理完美也白搭；一股脑列出所有选项 = 口语场景用户无法浏览；延迟通过准确性检查但实际体验很差。
现有框架的问题：
| 框架 | 评估内容 | 局限性 |
|---|---|---|
| AudioBench, VoxEval | 单轮语音转录 | 无多轮交互 |
| FD-Bench, Talking Turns | 对话动态（打断、接话） | 与任务完成脱节 |
| VoiceAgentBench, CAVA | Agent 能力 | 不评估完整对话流程 |
EVA 框架：首个端到端联合评估
ServiceNow 2026年3月发布的 EVA，首次同时评估任务完成 + 对话体验：
┌─────────────────────────────────────────┐
│ EVA 评估框架 │
├─────────────────────────────────────────┤
│ EVA-A (Accuracy) │
│ ├─ 任务完成率 │
│ ├─ 工具调用正确性 │
│ └─ 多步推理链完整性 │
│ │
│ EVA-X (Experience) │
│ ├─ 响应自然度（无过度检索） │
│ ├─ 延迟体验（P99 < 3s） │
│ └─ 口语化程度（无机械感） │
└─────────────────────────────────────────┘核心发现：Accuracy-Experience Tradeoff
"任务完成率高的 Agent，用户体验往往更差；用户体验好的 Agent，任务完成率往往较低。"
这是因为：
- 高准确性 → 需要更多确认步骤 → 用户觉得啰嗦
- 好体验 → 快速响应、少打断 → 可能漏掉关键信息
EVA 航空数据集 benchmark 结果（20 个系统）：
- 纯语音模型（S2S）和大音频语言模型（LALM）表现差异大
- Cascade 系统（STT→LLM→TTS）调优空间大
- 没有系统能同时在 EVA-A 和 EVA-X 上都领先
面试话术：
"Voice Agent 评估和文本 Agent 完全不同——它必须同时看任务完成度和对话体验。EVA 框架告诉我，不能只优化准确率，否则做出来的 Bot 像个'复读机'；也不能只追求体验，否则任务经常完不成。2026年语音 Agent 会爆发，这个评估框架是面试高频点。"
版本: v1.0 | 更新: 2026-04-14 | by 二狗子 🐕