AI客服上线，先查它能做什么

资料里也可能有指令

设想一个会搜索上传手册的客服助手，其中一段文字要求它改做别的事情，而非回答产品问题。OWASP 将外部内容带入这类指令的路径列为间接提示注入。这里是示意场景，不是真实客户事故。

记录哪些来源会进入检索、谁能修改这些内容，将检索文本视为不可信输入。不要把密钥写进系统提示词，再指望模型替你保密。

回答之后，它还能做什么

只读公开手册的机器人，与能调取客户记录、发送邮件的助手，风险范围不同。列出接入的操作及各自的权限检查。应用程序应判断当前用户是否有权执行每项操作。

给工具使用的凭据限制权限，对影响较大的操作设置审批。提示词里写一句“不要滥用工具”，不会改变工具实际拥有的权限。

用虚构资料验证边界

在获批的环境中准备两位虚构客户，以及带有无害冲突指令的文档。除了最终回答，还要核对检索范围和工具调用尝试，记录失败与成功拒绝的结果，但不记录密钥。

这些是 AI 应用评估需要考虑的问题，并非 Mingxi 标准套餐的覆盖承诺。公网网站检查不能替 AI 客服、知识库或接入的业务流程出具安全认证。

执行清单

• 列出资料来源和可修改人员。
• 核对每个工具实际执行的权限控制。
• 使用虚构数据开展已授权测试。
• 记录检索与操作结果。

常见问题

系统提示词写得更严格，能阻止所有提示注入吗？

不能仅凭措辞作出这种保证。应由应用执行访问控制、限制工具权限，并进行限定范围的验证。提示词和过滤器只能作为额外防护。