Gouvernance · Risk liés à l'IA Risk Architecture

La prochaine frontière de la cybersécurité :
La sécurité de la chaîne d'approvisionnement des connaissances

Au cours de la dernière décennie, les responsables de la cybersécurité se sont concentrés sur la protection des systèmes, des réseaux et des données. L'intelligence artificielle introduit une nouvelle catégorie de risk la plupart des organisations ne sont pas encore prêtes à gérer : l'intégrité des connaissances qui alimentent nos systèmes d'IA.

KS
Kevin Stout
Fondateur, OneCompliant .r.o. · Sécurité IA
7 min de lecture
GouvernanceArchitecture
Sécurité de la chaîne d'approvisionnement des connaissances — Intégrité AI

Au cours de la dernière décennie, les responsables de la cybersécurité se sont concentrés sur la protection des systèmes, des réseaux et des données. Cela reste essentiel. Mais l'intelligence artificielle introduit une nouvelle catégorie de risk la plupart des organisations ne sont pas encore prêtes à gérer.

L'intégrité des connaissances qui alimentent nos AI .

À quoi ressemble la chaîne d'approvisionnement AI ?

La plupart AI d'entreprise s'appuient sur des flux d'informations complexes — non seulement le modèle lui-même, mais aussi tout ce qui y est intégré :

Données internes de l'entreprise
API externes et ensembles de données tiers
Bases de connaissances des fournisseurs et corpus de recherche
Sources Internet et contenus du Web libre d'accès
Contenu généré par un modèle et réinjecté dans le système

Cela donne lieu à un phénomène très similaire à ce que nous avons observé il y a quelques années avec l'écosystème logiciel : une chaîne d'approvisionnement en connaissances. Et tout comme les chaînes d'approvisionnement logicielles, ces flux peuvent être manipulés.

Les risques émergents

Risk
Contamination des données d'entraînement
Influence néfaste des ensembles de données utilisés pour l'entraînement des modèles : intégration de biais, de portes dérobées ou de comportements dangereux qui persistent tout au long du cycle de vie opérationnel du modèle.
Risk
Manipulation des résultats de recherche
Introduire des informations trompeuses dans les sources de connaissances externes utilisées par RAG , de sorte que le modèle considère le contenu contrôlé par l'attaquant comme un fait avéré.
Risk
Attaques par injection de chaîne de caractères
Des instructions adversatives intégrées au contenu lu par le AI — qui influencent les résultats du modèle sans aucun accès direct à celui-ci ni à son infrastructure.
Risk
Amplification du contenu synthétique
Les informations générées par l'IA qui renforcent des conclusions erronées — ce qui est particulièrement dangereux dans RAG où le contenu synthétique peut réintégrer la base de connaissances.

Il ne s'agit pas toujours d'une violation au sens strict du terme. Le résultat peut être bien plus subtil : des décisions d'entreprise fondées sur des informations erronées.

Les cadres commencent à prendre en compte cette question

Les responsables de la sécurité connaissent déjà les cadres qui commencent à aborder ce défi :

NIST AI RMF AI européenne AI ISO/IEC 42001 OASF

Ces cadres mettent de plus en plus l'accent sur la traçabilité des données, la gouvernance des modèles, le contrôle humain et la surveillance continue AI . La voie à suivre est claire, même si la plupart des organisations ne l'ont pas encore mise en œuvre.

Le rôle du CISO évolue

Concrètement, cela signifie que nos responsabilités s'étendent de manière fondamentale.

CISO traditionnel CISO
« Notre système est-il sécurisé ? »
CISO à l'ère de l'IA
« Peut-on se fier aux connaissances sur lesquelles s'appuient nos systèmes pour prendre des décisions ? »

Notre responsabilité ne se limite plus à la protection des infrastructures.

Nous devenons les garants de l'intégrité de l'information.

Dans une entreprise AI, la question la plus cruciale n'est peut-être plus de savoir si le système est sécurisé, mais si l'on peut se fier aux connaissances qu'il utilise.

Concrètement, cela implique

Assurer la sécurité de la chaîne d'approvisionnement des connaissances implique d'étendre les contrôles de sécurité afin de couvrir :

Contrôle
Suivi de la provenance des données
Sachez d'où provient chaque information qui alimente vos AI , qui en est l'auteur et si elle a été validée.
Contrôle
Gouvernance des modèles tout au long de leur cycle de vie
AI doivent faire l'objet d'une gouvernance tout au long de leur développement, de leur apprentissage, de leur déploiement et de leur suivi — et ne doivent pas être considérés comme un simple événement ponctuel de déploiement.
Contrôle
Surveillance continue de la production
Détecter les cas où AI s'écartent du comportement attendu — ce qui peut indiquer une altération des connaissances, et pas seulement une défaillance du système.
Contrôle
Intervention humaine aux moments décisifs
Maintenir un contrôle humain pertinent lorsque AI servent de base à des décisions importantes sur le plan commercial, opérationnel ou réglementaire.

Conclusion

Les organisations qui commencent dès aujourd'hui à sécuriser leurs chaînes d'approvisionnement en connaissances seront bien mieux préparées pour la prochaine étape de AI .

Ceux qui ne le feront pas se retrouveront contraints, sous la pression des autorités de régulation, des clients et des pirates, de réagir à des défaillances qui étaient pourtant tout à fait prévisibles.

#Cybersécurité#IA#Gouvernance de l'IACISO de laCISO des systèmes d'information#IntégritéDesDonnées#Chaîne d'approvisionnementNISTOneCompliant

Sécurisez votre chaîne d'approvisionnement AI

OASAT OASF OASAT OneCompliant traitent de la provenance des données, de RAG , de la gouvernance des modèles et de l'intégrité des connaissances — autant de contrôles qui font défaut dans la plupart Gouvernance IA .

Réserver OASAT Découvrez la plateforme