Chatbot com IA: verifique os acessos antes do prompt

Um documento pode conter instruções

Imagine um assistente que pesquisa manuais enviados. Um trecho pode tentar desviá-lo da tarefa, em vez de fornecer informação sobre o produto. A OWASP descreve essa via de injeção indireta. O exemplo é hipotético, não um incidente de cliente.

Registre as fontes pesquisadas e quem pode alterá-las. Trate o texto recuperado como entrada não confiável. Não coloque segredos no prompt de sistema esperando que o modelo os mantenha privados.

O que ele pode fazer além de responder?

Ler manuais públicos traz uma exposição diferente de consultar registros de clientes ou enviar e-mails. Liste as operações conectadas e seus controles. A aplicação deve decidir se o usuário atual pode executar cada ação.

Limite as permissões das credenciais das ferramentas e exija aprovação para ações de maior impacto. Pedir ao modelo que não abuse de uma ferramenta não altera as permissões reais dela.

Testar com registros fictícios

Em ambiente aprovado, prepare dois clientes fictícios e documentos com instruções conflitantes inofensivas. Verifique os limites da busca e as tentativas de ação, além da resposta final. Registre falhas e recusas corretas sem armazenar segredos.

Esses são pontos de avaliação de aplicações de IA, não promessas do pacote padrão da Mingxi. Uma verificação de site público não certifica o chatbot, a base de conhecimento ou os processos conectados.

Lista prática

• Liste fontes de documentos e seus editores.
• Associe cada ferramenta às permissões aplicadas.
• Use dados fictícios nos testes autorizados.
• Registre resultados de busca e de ações.

Pergunta frequente

Um prompt de sistema mais rigoroso impede toda injeção?

A redação sozinha não oferece essa garantia. Use controles de acesso na aplicação, permissões limitadas e testes com escopo definido. Prompts e filtros são camadas adicionais de proteção.