Les pièges AI : La surface d'attaque dont personne ne parle
Google DeepMind vient de publier un cadre méthodologique consacré à une nouvelle catégorie de menaces :
les contenus adversaires spécialement conçus pour manipuler, tromper et exploiter
les agents IA autonomes. Voici ce que tout CISO comprendre — et mettre en œuvre dès maintenant.
KS
Kevin Stout
Fondateur de OneCompliant .r.o.
10 min de lectureSécuritéAI agentiqueAnalyse de recherche
Les chercheurs de Google DeepMind ont publié ce que je considère comme l’un des articles les plus importants
de 2025 en matière de sécurité pour toute personne déployant AI agentique AI des environnements réglementés.
Cet article présente un cadre systématique consacré aux « piègesAI » — c’est-à-dire du contenu adversaire
intégré dans l’environnement informationnel dans le but spécifique de manipuler des agents autonomes.
Ce n'est pas une simple théorie. Cette analyse s'appuie sur des attaques avérées, des tests de performance empiriques
et des incidents réels. Et elle correspond directement aux lacunes en matière de gouvernance dont j'ai
parlé dans mes écrits — à commencer par la délégation incontrôlée.
« En modifiant l'environnement plutôt que le modèle, le piège retourne les propres capacités de l'agent contre lui. »
Cette simple phrase tirée de l'article résume parfaitement le cœur du problème. Nous avons sécurisé
les modèles. Nous avons sécurisé les API. Nous avons sécurisé l'infrastructure. Mais les agents autonomes
utilisent le Web — et celui-ci peut désormais être utilisé comme une arme contre eux.
Six types d'attaques — et pourquoi elles sont importantes pour votre entreprise
Cet article identifie six catégories distinctes de « pièges d'agents », chacune ciblant un
niveau différent du fonctionnement des agents autonomes. Voici ce que chacune d'entre elles signifie concrètement :
1
Pièges liés à l'injection de contenu
Cible : Perception
Des instructions cachées intégrées dans le code HTML, CSS, les métadonnées ou les données binaires des images — invisibles à l'œil nu, mais analysées et exécutées par les agents. De simples injections de commandes dans le contenu web permettent de prendre partiellement le contrôle des agents dans jusqu'à 86 % des scénarios testés.
2
Les pièges de la manipulation sémantique
Objectif : raisonnement
Il fausse le raisonnement de l'agent par un cadrage biaisé, un langage qui met en avant l'autorité et un conditionnement contextuel — sans pour autant donner d'ordre explicite. L'agent parvient alors à une conclusion erronée, convaincu d'avoir raisonné correctement.
3
Pièges liés à l'état cognitif
Thème : Mémoire et apprentissage
Contamine les bases RAG , les bases de données de mémoire à long terme ou les démonstrations d'apprentissage en contexte. Les attaques persistent d'une session à l'autre et d'un utilisateur à l'autre. L'injection d'une poignée de documents seulement dans une base de connaissances suffit à manipuler de manière fiable les résultats des requêtes ciblées.
4
Pièges de contrôle comportemental
Objectif : Action
Jailbreaks intégrés, pièges d'exfiltration de données et attaques par création de sous-agents. Des agents Web disposant de privilèges au niveau du système d'exploitation ont été utilisés pour exfiltrer des fichiers locaux et des mots de passe, avec des taux de réussite supérieurs à 80 %.
5
Pièges systémiques
Thème : Dynamique multi-agents
Exploite l'homogénéité des agents pour provoquer des défaillances à grande échelle : attaques par congestion, défaillances en cascade (à l'instar du « Flash Crash » de 2010), collusion tacite et attaques de type Sybil qui faussent la prise de décision collective.
6
Les pièges liés à l'intervention humaine
Cible : Superviseur humain
Conçus pour provoquer une lassitude chez les évaluateurs humains, présenter des résumés d’actions malveillantes qui semblent techniquement inoffensifs, ou exploiter les biais liés à l’automatisation — contournant ainsi la dernière barrière de contrôle humain.
Le lien avec la délégation non contrôlée
Les lecteurs assidus reconnaîtront le lien entre cet article et mon précédent billet sur
la délégation incontrôlée. La section « Pièges de contrôle comportemental » de l’article identifie notamment
les « pièges de création de sous-agents » — dans lesquels un attaquant contraint un agent parent
à instancier des sous-agents malveillants au sein de son propre flux de contrôle de confiance.
Ce n'est pas une coïncidence. Le cadre DeepMind et le problème de délégation ont
la même cause profonde : nous avons mis en place des contrôles de sécurité pour des systèmes déterministes,
alors que nous déployons désormais des systèmes autonomes.
Un piège d'injection de contenu qui détourne un agent d'orchestration ne compromet pas seulement
cet agent. Par délégation, il se propage à travers tous les sous-agents que l'orchestrateur
génère. La surface d'attaque se multiplie à chaque niveau de la hiérarchie des agents.
Ce que dit l'article sur le camouflage dynamique — et pourquoi cela devrait vous inquiéter
Une découverte qui m'a interpellé : l'article montre que les sites web malveillants sont
déjà capables de détecter AI qui les visitent et de leur proposer un contenu différent de celui proposé aux utilisateurs humains.
Un script d'identification identifie les éléments d'automatisation, les caractéristiques de propriété intellectuelle et
les indices comportementaux. Si le visiteur est un AI , il lui propose une page visuellement identique
mais sémantiquement différente, contenant des charges utiles d'injection de prompt intégrées.
L'évaluateur humain ne remarque rien d'anormal. L'agent reçoit alors des instructions pour exfiltrer
des données ou utiliser ses outils à mauvais escient.
Vos agents naviguent déjà sur un Web capable de les repérer. Et la plupart des entreprises ne disposent d'aucune capacité de détection à cet égard.
Trois conclusions sur lesquelles tout CISO se pencher dès maintenant
RAG constituent une surface d'attaque majeureL'injection d'une poignée de documents soigneusement conçus dans un corpus de recherche permet de manipuler de manière fiable les résultats des agents pour des requêtes ciblées — avec des taux de réussite des attaques supérieurs à 80 % pour un taux d'empoisonnement des données inférieur à 0,1 %. Si vos agents interrogent des wikis internes, des référentiels de documents ou des sources Web publiques, il s'agit là d'une vulnérabilité active.
La persistance en mémoire confère une durabilité aux attaquesContrairement aux attaques de perception, les « pièges d’état cognitif » persistent d’une session à l’autre et affectent plusieurs utilisateurs. Une attaque implantée aujourd’hui dans la mémoire d’un agent peut refaire surface des semaines plus tard, lorsqu’un contexte spécifique déclenche sa récupération. Cela modifie fondamentalement la stratégie de réponse aux incidents.
Le problème de la responsabilité est bien réel et n’a pas été résoluLe document le souligne clairement : si un agent compromis commet un délit financier, la répartition de la responsabilité entre l’opérateur de l’agent, le fournisseur du modèle et le propriétaire du domaine reste une question juridique en suspens. Dans les secteurs réglementés, cette ambiguïté est votre problème — et non celui de quelqu’un d’autre.
Ce que cela implique du point de vue de la gouvernance
Cet article présente des stratégies d'atténuation à trois niveaux. Voici comment je les traduis
en exigences opérationnelles en matière de gouvernance :
Validation de la source avant ingestion — avant qu’un contenu externe ne soit intégré au contexte d’un agent, évaluez sa crédibilité. Ne vous limitez pas à la réputation de l’URL : procédez à une analyse structurelle pour détecter d’éventuelles instructions cachées.
Contrôles d'intégritéRAG — considérez votre base de connaissances de recherche comme une frontière de sécurité. Les contrôles d'accès, le suivi de la provenance et la détection des anomalies sur le contenu récupéré ne sont pas facultatifs dans les environnements réglementés.
Identité des agents et profils de référence comportementaux — il est impossible de détecter un comportement anormal sans savoir à quoi ressemble un comportement normal. Chaque agent déployé doit disposer d'un profil de référence comportemental et faire l'objet d'une surveillance en temps réel par rapport à celui-ci.
Journalisation de la chaîne de délégation — comme je l'ai expliqué dans mon article sur la délégation : la chaîne dans son intégralité doit pouvoir faire l'objet d'un audit. Les contrôles impliquant une intervention humaine n'ont aucun sens si les vérificateurs ne voient que des résumés au niveau de l'orchestrateur qui omettent les actions des sous-agents.
Cadres de responsabilité et d'obligation de rendre compte — précisez clairement qui est responsable des actes des agents dans votre contexte réglementaire. N'attendez pas qu'un incident se produise pour découvrir cette lacune.
Exercices de simulation d'attaques (« red teaming ») ciblant les menaces liées aux agents — votre méthodologie actuelle de tests d'intrusion n'a pas été conçue pour les agents autonomes. Les catégories de pièges destinés aux agents doivent être explicitement intégrées à votre programme de modélisation des menaces et de tests.
En résumé
L'article de DeepMind se termine par une phrase qui devrait figurer sur le mur Gouvernance IA toutes Gouvernance IA :
« Le Web a été conçu pour les yeux humains ; il est aujourd’hui repensé pour les lecteurs automatiques. La question cruciale n’est plus seulement de savoir quelles informations existent, mais ce que nos outils les plus puissants seront amenés à croire. »
Garantir l'intégrité de ce que croient les agents — ce qu'ils extraient, ce sur quoi ils raisonnent,
ce qui motive leurs actions — constitue le défi de gouvernance de l'ère des agents. Il ne s'agit pas d'un problème
de modèle ni d'un problème d'infrastructure. Il s'agit d'un problème d'architecture de gouvernance.
Et contrairement à de nombreux défis en matière de sécurité, la marge de manœuvre pour y remédier avant que les
attentes réglementaires ne se concrétisent est très étroite. L’article est accessible au public. Les régulateurs lisent les travaux de recherche.
Les exigences AI européenne AI concernant la supervision humaine et la transparence ont été rédigées avant que
les « pièges d’agents » ne soient identifiés comme une catégorie de menaces à part entière. Elles ne seront pas mises à jour pour tenir compte des organisations
qui n’y ont pas prêté attention.
OASAT OneCompliant analyse vos systèmes d'IA au regard des catégories de « pièges d'agents »,
risk liés à la délégation et des exigences réglementaires en matière de gouvernance — le tout en 4 à 6 semaines.
