Skip to content
🔗 分享本题
查看我的学习进度 →

幻觉的分类体系

幻觉不是"单一问题",而是多种类型的集合。理解分类是设计治理方案的前提。

类型描述典型表现检测方式
事实性幻觉编造不存在的事实"北京人口2亿"(实际约2200万)事实核查工具、知识图谱校验
来源幻觉虚构不存在的引用来源引用一篇根本没发表的论文引用溯源验证、反向搜索
逻辑幻觉推理链条中的中间步骤出错第一步对了,第二步逻辑跳跃Self-Consistency多重推理
过度自信在不确定时表现得非常确定"我可以肯定地说XXX"(其实瞎猜的)Confidence校准、概率输出分析
上下文错位在多文档QA中引用了错误文档把文档A的信息当成来自文档BFaithfulness指标(RAGAS)
指令遵循失败忽略了prompt中的限制条件被要求简短回答却写了长篇大论Rule-based检查

系统性治理方案

┌─────────────────────────────────────┐
│         LLM Output                 │
└──────────────┬──────────────────────┘

       ┌───────▼────────┐
       │ 第一道防线       │  Prompt约束:"不要编造,不知道就说不知道"
       │  (Prompt层)     │  Temperature控制在0.2以下
       └───────┬────────┘

       ┌───────▼────────┐
       │ 第二道防线       │  RAG + 引用溯源:所有断言必须有出处
       │  (Retrieval层)   │  Faithfulness ≥ 0.8才接受
       └───────┬────────┘

       ┌───────▼────────┐
       │ 第三道防线       │  外部工具校验:事实查核、公式计算、法律条文
       │  (Tool层)       │  Function Calling 调用专用验证器
       └───────┬────────┘

       ┌───────▼────────┐
       │ 第四道防线       │  规则引擎:关键数字/日期/人名做格式和常识校验
       │  (Rule层)       │  Regex、白名单、跨源交叉验证
       └───────┬────────┘

       ┌───────▼────────┐
       │ 第五道防线       │  人工审核入口:高风险场景(医疗/法律/金融)必须有人确认
       │  (Human-in-loop)│  置信度低于阈值自动转人工
       └────────────────┘

关键原则

  1. 预防 > 检测 > 修复:最好的方案是不让幻觉发生(通过好的RAG和Prompt设计)
  2. 分级响应:不同业务场景设置不同的容忍度(客服聊天 vs 医疗建议)
  3. 持续监控:上线后定期抽样检查faithfulness和hallucination rate

面试话术

"我在项目里用的是五层防御体系:从Prompt约束开始,到RAG溯源,再到工具校验、规则引擎,最后是人审兜底。关键是根据场景设定SLA——电商客服可以接受1%的轻微幻觉,但法律咨询必须控制在0.01%以下。另外,我维护了一个Hallucination日志库,记录所有被拦截的案例,用于持续改进检测规则。"