幻觉的分类体系
幻觉不是"单一问题",而是多种类型的集合。理解分类是设计治理方案的前提。
| 类型 | 描述 | 典型表现 | 检测方式 |
|---|---|---|---|
| 事实性幻觉 | 编造不存在的事实 | "北京人口2亿"(实际约2200万) | 事实核查工具、知识图谱校验 |
| 来源幻觉 | 虚构不存在的引用来源 | 引用一篇根本没发表的论文 | 引用溯源验证、反向搜索 |
| 逻辑幻觉 | 推理链条中的中间步骤出错 | 第一步对了,第二步逻辑跳跃 | Self-Consistency多重推理 |
| 过度自信 | 在不确定时表现得非常确定 | "我可以肯定地说XXX"(其实瞎猜的) | Confidence校准、概率输出分析 |
| 上下文错位 | 在多文档QA中引用了错误文档 | 把文档A的信息当成来自文档B | Faithfulness指标(RAGAS) |
| 指令遵循失败 | 忽略了prompt中的限制条件 | 被要求简短回答却写了长篇大论 | Rule-based检查 |
系统性治理方案
┌─────────────────────────────────────┐
│ LLM Output │
└──────────────┬──────────────────────┘
│
┌───────▼────────┐
│ 第一道防线 │ Prompt约束:"不要编造,不知道就说不知道"
│ (Prompt层) │ Temperature控制在0.2以下
└───────┬────────┘
│
┌───────▼────────┐
│ 第二道防线 │ RAG + 引用溯源:所有断言必须有出处
│ (Retrieval层) │ Faithfulness ≥ 0.8才接受
└───────┬────────┘
│
┌───────▼────────┐
│ 第三道防线 │ 外部工具校验:事实查核、公式计算、法律条文
│ (Tool层) │ Function Calling 调用专用验证器
└───────┬────────┘
│
┌───────▼────────┐
│ 第四道防线 │ 规则引擎:关键数字/日期/人名做格式和常识校验
│ (Rule层) │ Regex、白名单、跨源交叉验证
└───────┬────────┘
│
┌───────▼────────┐
│ 第五道防线 │ 人工审核入口:高风险场景(医疗/法律/金融)必须有人确认
│ (Human-in-loop)│ 置信度低于阈值自动转人工
└────────────────┘关键原则
- 预防 > 检测 > 修复:最好的方案是不让幻觉发生(通过好的RAG和Prompt设计)
- 分级响应:不同业务场景设置不同的容忍度(客服聊天 vs 医疗建议)
- 持续监控:上线后定期抽样检查faithfulness和hallucination rate
面试话术
"我在项目里用的是五层防御体系:从Prompt约束开始,到RAG溯源,再到工具校验、规则引擎,最后是人审兜底。关键是根据场景设定SLA——电商客服可以接受1%的轻微幻觉,但法律咨询必须控制在0.01%以下。另外,我维护了一个Hallucination日志库,记录所有被拦截的案例,用于持续改进检测规则。"