AI客服上線，先查它能做什麼

資料裡也可能有指令

假設客服助理會搜尋上傳的手冊，其中一段文字要求它改做別的事，而非回答產品問題。OWASP 將外部內容帶入這類指令的路徑列為間接提示注入。這是示意情境，不是真實客戶事故。

記錄哪些來源會進入檢索、誰能修改內容，將檢索文字視為不可信輸入。不要把金鑰寫進系統提示詞，再期待模型替你保密。

回答之後，它還能做什麼

只讀公開手冊的機器人，與能調閱客戶紀錄、寄送郵件的助理，風險範圍不同。列出接入的操作及各自的權限檢查。應用程式應判斷目前使用者是否有權執行每項操作。

限制工具憑證的權限，對影響較大的操作設定核准程序。提示詞寫一句「不要濫用工具」，不會改變工具實際擁有的權限。

用虛構資料驗證邊界

在獲准的環境準備兩位虛構客戶，以及帶有無害衝突指令的文件。除了最後回答，還要核對檢索範圍和工具呼叫嘗試，記錄失敗與成功拒絕的結果，但不記錄金鑰。

這些是 AI 應用評估需要考慮的問題，並非 Mingxi 標準套餐的涵蓋承諾。公網網站檢查不能替 AI 客服、知識庫或接入的業務流程出具安全認證。

執行清單

• 列出資料來源及可修改人員。
• 核對每個工具實際執行的權限控制。
• 使用虛構資料進行已授權測試。
• 記錄檢索與操作結果。

常見問題

系統提示詞寫得更嚴格，能阻止所有提示注入嗎？

不能僅憑措辭作出這項保證。應由應用程式執行存取控制、限制工具權限，並進行限定範圍的驗證。提示詞和過濾器只能作為額外防護。