Chatbots con IA: revise los accesos antes del prompt

Un documento puede contener instrucciones

Imagine un asistente que busca en manuales subidos. Un pasaje puede intentar desviar su tarea en lugar de aportar información del producto. OWASP describe esta vía de inyección indirecta. El ejemplo es hipotético, no un incidente de un cliente.

Registre las fuentes consultadas y quién puede modificarlas. Trate el texto recuperado como entrada no fiable. No guarde secretos en el prompt del sistema esperando que el modelo los mantenga privados.

¿Qué puede hacer después de responder?

Leer manuales públicos no implica la misma exposición que consultar registros de clientes o enviar correos. Enumere las operaciones conectadas y sus controles. La aplicación debe decidir si el usuario actual tiene permiso para cada acción.

Limite las credenciales de las herramientas a los permisos necesarios y exija aprobación para acciones importantes. Pedir al modelo que no abuse de una herramienta no cambia sus permisos reales.

Probar con registros ficticios

En un entorno aprobado, prepare dos clientes ficticios y documentos con instrucciones contradictorias inofensivas. Revise los límites de recuperación y los intentos de acción, además de la respuesta final. Registre fallos y rechazos correctos sin guardar secretos.

Son cuestiones de evaluación de aplicaciones de IA, no promesas del paquete estándar de Mingxi. Una comprobación de web pública no certifica el chatbot, la base de conocimiento ni los procesos conectados.

Lista práctica

• Inventaríe fuentes y personas que pueden editarlas.
• Asocie cada herramienta a sus permisos efectivos.
• Use datos ficticios en las pruebas autorizadas.
• Registre resultados de búsqueda y de acciones.

Pregunta frecuente

¿Un prompt de sistema más estricto impide toda inyección?

La redacción por sí sola no ofrece esa garantía. Use controles de acceso en la aplicación, permisos limitados y pruebas acotadas. Los prompts y filtros son capas adicionales de protección.