DeflankAgentes de IA para empresas: control con límites demostrables
La prueba, no la estimación.
Cuando un chatbot se equivoca, produce una respuesta mala. Cuando un agente se equivoca, produce una acción ejecutada: un correo enviado, un registro modificado, un pago realizado.
Y las acciones, a diferencia de las respuestas, no se deshacen.
El problema que hay que resolver antes de desplegar
El artículo 14 del EU AI Act exige que la supervisión humana permita «descartar, invalidar o revertir» las salidas del sistema e interrumpirlo de forma segura.
Léelo pensando en un agente. ¿Cómo se «revierte» una salida que ya es una acción ejecutada? No se des-envía un correo. No se des-realiza una transferencia. No se des-borra un registro que el agente eliminó hace cuatro pasos.
Para un sistema que solo genera texto, revertir la salida es trivial. Para uno que actúa, es un requisito de diseño — y hay que resolverlo antes de desplegar.
Por qué un prompt no sirve como control
La forma habitual de «controlar» un agente es escribirle instrucciones: no hagas X, pide confirmación antes de Y.
Es necesario, pero es frágil: esas instrucciones viven en el mismo canal —lenguaje natural— por el que llega el ataque. Una inyección de prompt las sobrescribe.
Un prompt no es un control de seguridad. Es una sugerencia muy bien redactada.
Qué obtienes hoy: el diagnóstico
- Mapa de acciones: qué puede ejecutar cada agente —correos, pagos, cambios en registros, llamadas a otras herramientas— y con qué permisos, incluido lo que nadie autorizó expresamente.
- Qué lo detiene: qué límites existen fuera del modelo y cuáles solo están en el prompt.
- Supervisión humana frente al artículo 14: quién puede intervenir, revertir o parar el agente, y cómo.
- Rastro frente al artículo 12: si queda registro de qué hizo, en qué orden y por qué. Sin ese rastro, no es auditable.
- Clasificación del agente en el AI Act según su función, y plan de remediación priorizado.
Lo que dice la norma (aunque no diga «agente»)
El EU AI Act no crea una categoría llamada «agente». No le hace falta:
- Si el agente realiza una función del anexo III —criba de candidaturas, evaluación de solvencia, servicio esencial—, es de alto riesgo.
- El artículo 14 gradúa la supervisión exigible según el nivel de autonomía del sistema: cuanta más autonomía, más supervisión. La norma ya piensa en agentes sin usar la palabra.
- Si se apoya en un modelo de terceros, hereda el régimen de los modelos de uso general (GPAI).
- En banca y seguros, bajo DORA, el agente es un servicio de TIC y su fallo puede ser un incidente notificable.
El reto de fondo
Un agente es un sistema no determinista que ejecuta acciones. Las pruebas, por exhaustivas que sean, solo muestran lo que hizo en los casos probados: entregan una estimación de su comportamiento.
Por eso estamos construyendo, con una metodología de verificación propia, una plataforma que convertirá los límites de un sistema agéntico en una prueba matemática, reproducible y verificable por un tercero. No se trata de esperar que el agente se porte bien: se trata de acreditar que no puede hacer lo que tiene prohibido. Podrá instalarse en tu propio perímetro. Sin fecha comprometida.
Empieza por saber dónde estás
Valoración inicial gratuita. Una conversación sobre tu caso: qué agentes usas o preparas, qué pueden ejecutar y qué conviene mirar primero. Sin compromiso.
Sigue leyendo: IA agéntica: qué es y qué riesgos asume (guía) · Seguridad de LLM · EU AI Act · Reglamento DORA.
Fuentes: Reglamento (UE) 2024/1689, artículos 12, 14 y anexo III; OWASP Top 10 for LLM Applications (2025), riesgo LLM06 «agencia excesiva».
Preguntas frecuentes
¿El AI Act regula los agentes de IA?
No crea una categoría llamada «agente», pero no le hace falta: si el agente realiza una función del anexo III —criba de candidaturas, evaluación de solvencia, acceso a servicios esenciales— es de alto riesgo, con todas sus obligaciones.
¿Qué exige el artículo 14 a un agente?
Que la supervisión humana permita descartar, invalidar o revertir sus salidas e interrumpirlo de forma segura, con medidas proporcionales al riesgo y al nivel de autonomía del sistema. En un agente que ya ha ejecutado una acción, eso es un requisito de diseño, no de configuración.
¿Por qué no basta con instrucciones en el prompt?
Porque las instrucciones viajan por el mismo canal que el ataque, el lenguaje natural, y una inyección de prompt puede sobrescribirlas. Un prompt no es un control de seguridad: es una sugerencia muy bien redactada.
¿Qué rastro debe dejar un agente?
El artículo 12 exige registros que permitan reconstruir qué hizo el sistema. En un agente, eso significa qué acciones ejecutó, en qué orden y por qué. Sin ese rastro no es auditable.
¿Tengo que instalar algo o daros acceso a mis agentes?
No. El diagnóstico trabaja con la documentación y la configuración de tus agentes y con entrevistas a tu equipo, bajo confidencialidad.