Skip to content
🔗 分享本题
查看我的学习进度 →

26 模块 Q15 教学图:高风险 Agent 如何控制幻觉和错误操作?

🧠 图解记忆:不要承诺“消除幻觉”,应限制模型能造成的影响;点击图片可查看原图。

💡 答案要点

不要承诺“消除幻觉”,应限制模型能造成的影响:

  • 把生成内容与确定性业务规则分离;
  • 工具采用 allowlist、最小权限、严格 schema 和服务端参数校验;
  • 读操作与写操作分权,高影响写操作需要预览、人工确认或双人审批;
  • 使用幂等键、金额/数量上限、事务与补偿操作;
  • 无足够证据时拒答或升级人工,并展示来源;
  • 对工具轨迹、最终状态和策略违规做评测,而不只评价语言流畅度;
  • 准备 kill switch、凭据撤销、回滚和事件审计。

追问时要根据场景区分风险:总结内部文档与执行退款不能使用同一自主等级。

📚 参考:OWASP LLM Top 10(高风险操作的防护)