
🧠 记忆锚点:外部内容只能当数据,不能升级成指令;模型提议动作,策略与用户授权决定能不能执行。
💡 答案要点
间接注入来自模型读取的不可信内容,例如网页、邮件、文档或工具返回。攻击文本诱导模型忽略原任务、读取其他数据并调用外部工具发送出去。
防御不能只写“忽略文档里的指令”:
- 把检索内容和工具结果标记为不可信数据,不授予其改变系统策略的权力;
- 工具按最小权限拆分,读取和外发能力不要默认同时开放;
- 参数经过 schema、资源范围和策略引擎校验;
- 跨信任域写操作、批量读取和外发需要确认;
- 对工具链做端到端攻击测试和审计,检测异常数据流。