Artículo original
Trampas para AI
Franklin, Tomašev, Jacobs, Leibo, Osindero — Google DeepMind · SSRN 2025
Los investigadores de Google DeepMind han publicado lo que considero uno de los artículos sobre seguridad más importantes
de 2025 para cualquiera que implemente AI agentiva AI entornos regulados.
En él se presenta un marco sistemático para las «trampasAI »: contenido adversario
incrustado en el entorno de información con el objetivo específico de manipular a los agentes autónomos.
Esto no es algo teórico. Se basa en ataques demostrados, pruebas comparativas empíricas
e incidentes reales. Y guarda una relación directa con las deficiencias de gobernanza sobre las que he estado
escribiendo, empezando por la delegación incontrolada.
«Al modificar el entorno en lugar del modelo, la trampa convierte las propias capacidades del agente en un arma en su contra».
Esa única frase del artículo resume el problema fundamental. Nos hemos dedicado a proteger
los modelos. Nos hemos dedicado a proteger las API. Nos hemos dedicado a proteger la infraestructura. Pero los agentes autónomos
utilizan la web, y ahora la web puede utilizarse como arma en su contra.
Seis tipos de ataques: por qué son importantes para tu empresa
El artículo identifica seis categorías distintas de «trampas de agentes», cada una de las cuales se centra en un
nivel diferente del funcionamiento de los agentes autónomos. A continuación se explica lo que significa cada una de ellas en la práctica:
Objetivo: Percepción
Instrucciones ocultas incrustadas en HTML, CSS, metadatos o datos binarios de imágenes —invisibles para los humanos, pero que los agentes analizan y sobre las que actúan—. Unas simples inyecciones de comandos en el contenido web permiten controlar parcialmente a los agentes en hasta un 86 % de los escenarios probados.
Objetivo: Razonamiento
Alteró el razonamiento del agente mediante un encuadre sesgado, un lenguaje que transmite autoridad y un condicionamiento contextual, sin dar ninguna orden explícita. El agente llega a una conclusión errónea creyendo que ha razonado correctamente.
Objetivo: Memoria y aprendizaje
Contamina las bases RAG , los almacenes de memoria a largo plazo o las demostraciones de aprendizaje contextual. Los ataques persisten a lo largo de las sesiones y entre usuarios. Basta con introducir unos pocos documentos en una base de conocimiento para manipular de forma fiable los resultados de las consultas específicas.
Objetivo: Acción
Jailbreaks integrados, trampas para la exfiltración de datos y ataques de generación de subagentes. Se ha logrado que los agentes web con privilegios a nivel del sistema operativo exfiltren archivos locales y contraseñas con tasas de éxito superiores al 80 %.
Objetivo: Dinámica multiagente
Aprovecha la homogeneidad de los agentes para provocar fallos a gran escala: ataques de congestión, fallos en cadena (análogos al «Flash Crash» de 2010), colusión tácita y ataques de Sybil que distorsionan la toma de decisiones colectiva.
Objetivo: Supervisor humano
Diseñados para provocar «fatiga de aprobación» en los revisores humanos, presentar resúmenes de acciones maliciosas que parecen inofensivos desde el punto de vista técnico o aprovechar los sesgos de la automatización, eludiendo así la última capa de supervisión humana.
La relación con la delegación incontrolada
Los lectores habituales reconocerán el hilo conductor que une este tema con mi entrada anterior sobre
la delegación incontrolada. La sección «Trampas de control conductual» del artículo identifica específicamente
las «trampas de generación de subagentes », en las que un atacante obliga a un agente padre
a instanciar subagentes maliciosos dentro de su propio flujo de control de confianza.
Artículo relacionado
AI agentiva AI un problema oculto: la delegación descontrolada
Cómo la delegación entre agentes crea vías de confianza implícitas que eluden todos los controles de seguridad que hayas implementado.
Esto no es una coincidencia. El marco de DeepMind y el problema de la delegación comparten
la misma causa fundamental: creamos controles de seguridad para sistemas deterministas,
y ahora estamos implantando sistemas autónomos.
Una trampa de inyección de contenido que secuestra un agente de orquestación no solo pone en peligro
ese agente. A través de la delegación, se propaga a todos los subagentes que el orquestador
crea. La superficie de ataque se multiplica con cada capa de la jerarquía de agentes.
Lo que dice el artículo sobre el camuflaje dinámico… y por qué debería preocuparte
Un hallazgo que me llamó la atención: el artículo documenta que los sitios web maliciosos ya pueden
detectar a AI que los visitan y mostrarles un contenido diferente al que ven los usuarios humanos.
Un script de identificación identifica elementos de automatización, características de la IP y
indicios de comportamiento. Si el visitante es un AI , se le muestra una página visualmente idéntica
pero semánticamente diferente, con cargas útiles de inyección de comandos incrustadas.
El revisor humano no detecta nada anormal. El agente recibe instrucciones para sustraer
datos o hacer un uso indebido de sus herramientas.
Tus agentes ya están navegando por una web que puede detectar su presencia. Y la mayoría de las organizaciones carecen por completo de capacidad para detectar esto.
Tres conclusiones sobre las que todo CISO actuar de inmediato
RAG constituyen una superficie de ataque principal
La introducción de unos pocos documentos cuidadosamente elaborados en un corpus de búsqueda permite manipular de forma fiable los resultados de los agentes para consultas específicas, con tasas de éxito de los ataques superiores al 80 % con menos del 0,1 % de datos contaminados. Si tus agentes consultan wikis internas, repositorios de documentos o fuentes web públicas, esto supone una exposición activa.
La persistencia de la memoria hace que los ataques sean duraderos
A diferencia de los ataques de percepción, las «trampas de estado cognitivo» persisten entre sesiones y afectan a múltiples usuarios. Un ataque implantado hoy en la memoria de un agente puede salir a la luz semanas más tarde, cuando un contexto específico desencadene su recuperación. Esto cambia radicalmente el cálculo de la respuesta ante incidentes.
La falta de responsabilidad es real y sigue sin resolverse
El documento lo señala explícitamente: si un agente comprometido comete un delito financiero, la distribución de la responsabilidad entre el operador del agente, el proveedor del modelo y el propietario del dominio es una cuestión jurídica pendiente. En los sectores regulados, esa ambigüedad es tu problema, no el de otra persona.
Lo que esto implica desde el punto de vista de la gobernanza
El documento describe estrategias de mitigación en tres niveles. A continuación explico cómo traduzco
esas estrategias en requisitos de gobernanza operativa:
Validación de la fuente previa a la ingesta: antes de que cualquier contenido externo entre en el contexto de un agente, se evalúa su credibilidad. No solo se tiene en cuenta la reputación de la URL, sino que también se realiza un análisis estructural en busca de instrucciones ocultas.
Controles de integridadRAG : considera tu base de conocimientos de recuperación como un perímetro de seguridad. Los controles de acceso, el seguimiento de la procedencia y la detección de anomalías en el contenido recuperado no son opcionales en entornos regulados.
Identidad del agente y valores de referencia de comportamiento: no se puede detectar un comportamiento anómalo sin saber cómo es el comportamiento normal. Cada agente implementado necesita un valor de referencia de comportamiento y una supervisión en tiempo de ejecución basada en dicho valor.
Registro de la cadena de delegación —tal y como se explica en mi artículo sobre la delegación—: la cadena completa debe ser auditable. Los controles con intervención humana no sirven de nada si los revisores solo ven resúmenes a nivel del orquestador que omiten las acciones de los subagentes.
Marcos de responsabilidad y rendición de cuentas: deja claro quién es responsable de las acciones de los agentes en tu contexto normativo. No esperes a que se produzca un incidente para descubrir las deficiencias.
Pruebas de «red teaming» para amenazas específicas de agentes: vuestra metodología actual de pruebas de penetración no se diseñó para agentes autónomos. Las categorías de trampas para agentes deben incluirse de forma explícita en vuestro programa de modelización de amenazas y pruebas.
En resumen
El artículo de DeepMind termina con una frase que debería estar colgada en la pared Gobernanza IA todos Gobernanza IA :
«La web se creó para los ojos humanos; ahora se está rediseñando para los lectores automáticos. La cuestión fundamental ya no es solo qué información existe, sino qué se hará creer a nuestras herramientas más potentes».
Garantizar la integridad de lo que creen los agentes —lo que recogen, lo que analizan,
lo que les lleva a actuar— es el reto de gobernanza de la era de los agentes. No se trata de un problema
de modelo ni de infraestructura. Es un problema de arquitectura de gobernanza.
Y, a diferencia de muchos retos de seguridad, el margen de tiempo para abordarlo antes de que
se concreten las expectativas normativas es muy reducido. El artículo está disponible públicamente. Los reguladores leen los estudios de investigación.
Los requisitos AI de la UE en materia de supervisión humana y transparencia se redactaron antes de que
las «trampas de agentes» se consideraran una categoría de amenaza específica. No se actualizarán para adaptarse a las organizaciones
que no prestaron atención.
#Ciberseguridad
#IA
#IAagencial
#SeguridadIA
CISO
#GobernanzaDeIA
#ConfianzaCero
#InyecciónDePrompt
OneCompliant
Identifica la superficie AI de tu AI agentiva
OASAT OneCompliant analiza sus sistemas de IA en función de las categorías de «agente trampa»,
risk de delegación y los requisitos normativos de gobernanza, en un plazo de entre 4 y 6 semanas.
