AIチャットボット、公開前に権限を確認する

文書にも指示が入り得る

アップロードされたマニュアルを検索するサポートボットを想定します。文章の一部が製品情報ではなく別の行動を指示する場合があります。OWASPはこうした経路を間接的な注入として説明しています。これは仮の例で、顧客の事故ではありません。

検索対象の情報源と編集できる人を記録し、取得した文章を信頼できない入力として扱います。秘密情報をシステムプロンプトに入れて、モデルが守ると期待しないでください。

回答以外にできること

公開マニュアルを読むボットと、顧客記録の取得やメール送信ができるボットでは範囲が異なります。接続した操作と権限チェックを列挙します。各操作を現在の利用者に許すかは、アプリケーションが判断すべきです。

ツールの認証情報は権限を限定し、影響の大きな操作には承認を求めます。「悪用しない」という指示でツール自体の権限は変わりません。

架空の記録で検証する

許可された環境に架空の顧客を二人分用意し、無害な矛盾する指示を含む文書で確認します。最終回答だけでなく検索範囲とツール操作の試行も調べます。秘密情報を残さず、失敗と正常な拒否を記録します。

これはAIアプリ評価の検討事項であり、Mingxi標準プランの範囲を示すものではありません。公開サイトの検査は、ボットや知識ベース、接続した業務フローの安全認証にはなりません。

実行チェックリスト

• 情報源と編集者を一覧にする。
• ツールごとの実際の権限制御を確認する。
• 架空データで許可済みの検証を行う。
• 検索と操作の結果を記録する。

よくある質問

システムプロンプトを強化すればすべて防げますか？

文言だけでその保証はできません。アプリによるアクセス制御、限定したツール権限、範囲を定めた検査を組み合わせます。プロンプトやフィルターは追加の防御です。