Gobernanza · Risk de la IA Risk Arquitectura

La próxima frontera de la ciberseguridad:
La seguridad de la cadena de suministro del conocimiento

Durante la última década, los responsables de la ciberseguridad se han centrado en proteger los sistemas, las redes y los datos. La inteligencia artificial está introduciendo una nueva categoría de risk la mayoría de las organizaciones aún no están preparadas para gestionar: la integridad de los conocimientos que alimentan nuestros sistemas de inteligencia artificial.

Seguridad de la cadena de suministro del conocimiento: integridad AI

Durante la última década, los responsables de la ciberseguridad se han centrado en proteger los sistemas, las redes y los datos. Esto sigue siendo fundamental. Sin embargo, la inteligencia artificial está introduciendo una nueva categoría de risk la mayoría de las organizaciones aún no están preparadas para gestionar.

La integridad de los conocimientos que alimentan nuestros AI .

Cómo es la cadena de suministro AI

La mayoría de AI empresariales se basan en complejos flujos de información: no solo el modelo en sí, sino todo lo que se introduce en él:

Datos internos de la empresa
API externas y conjuntos de datos de terceros
Bases de conocimientos de proveedores y corpus de recuperación
Fuentes de Internet y contenidos de la web abierta
Contenido generado por el modelo que se reincorpora al sistema

Esto da lugar a algo muy similar a lo que vimos hace años con el ecosistema del software: una cadena de suministro del conocimiento. Y, al igual que las cadenas de suministro del software, estos canales pueden ser manipulados.

Los riesgos emergentes

Risk
Contaminación de los datos de entrenamiento
Influencia maliciosa de los conjuntos de datos utilizados para el entrenamiento de los modelos: la incorporación de sesgos, puertas traseras o comportamientos peligrosos que persisten a lo largo de toda la vida útil del modelo.
Risk
Manipulación de la recuperación
Introducir información engañosa en las fuentes de conocimiento externas que utilizan RAG , de modo que el modelo considere el contenido controlado por el atacante como un hecho verificado.
Risk
Ataques de inyección de comandos
Instrucciones adversarias integradas en el contenido que lee AI , que influyen en los resultados del modelo sin necesidad de acceder directamente al modelo ni a la infraestructura.
Risk
Amplificación de contenido sintético
La información generada por IA que refuerza conclusiones erróneas —lo cual resulta especialmente peligroso en RAG , donde el contenido sintético puede volver a incorporarse a la base de conocimientos—.

El resultado no siempre es una violación tradicional de la seguridad. El resultado puede ser algo mucho más sutil: decisiones empresariales basadas en información errónea.

Los marcos están empezando a abordar esta cuestión

Los responsables de seguridad ya están familiarizados con los marcos que empiezan a abordar este reto:

NIST AI RMF AI de la UE ISO/IEC 42001 OASF

Estos marcos hacen cada vez más hincapié en la procedencia de los datos, la gobernanza de los modelos, la supervisión humana y el seguimiento continuo de AI . La dirección a seguir está clara, aunque la mayoría de las organizaciones aún no la hayan puesto en práctica.

El papel del CISO evolucionando

En la práctica, esto significa que nuestras responsabilidades se están ampliando de manera fundamental.

CISO tradicional CISO
«¿Es seguro nuestro sistema?»
CISO en la era de la IA
«¿Podemos confiar en la información que utilizan nuestros sistemas para tomar decisiones?»

Ya no nos limitamos a proteger las infraestructuras.

Nos estamos convirtiendo en guardianes de la integridad de la información.

En una empresa AI, puede que la cuestión más importante ya no sea si el sistema es seguro, sino si se puede confiar en los conocimientos que utiliza.

Lo que esto implica en la práctica

Garantizar la seguridad de la cadena de suministro del conocimiento implica ampliar los controles de seguridad para que abarquen:

Control
Seguimiento de la procedencia de los datos
Asegúrate de saber de dónde procede cada dato que se introduce en tus AI , quién es su autor y si ha sido validado.
Control
Gobernanza de los modelos a lo largo de todo su ciclo de vida
AI deben estar sujetos a un marco de gobernanza a lo largo de todo el proceso de desarrollo, entrenamiento, implementación y supervisión, y no deben considerarse como un evento de implementación puntual.
Control
Supervisión continua de la producción
Detectar cuándo AI se desvían del comportamiento esperado, lo que podría indicar una alteración de los conocimientos, y no solo un fallo del sistema.
Control
Supervisión humana en momentos críticos de la toma de decisiones
Mantener una revisión humana significativa en los casos en que AI sirvan de base para decisiones importantes de carácter empresarial, operativo o normativo.

Reflexión final

Las organizaciones que empiecen hoy mismo a proteger sus cadenas de suministro de conocimiento estarán mucho mejor preparadas para la próxima fase de AI .

Las que no lo hagan se verán obligadas a reaccionar bajo presión —por parte de los organismos reguladores, los clientes y los atacantes— ante fallos que eran totalmente previsibles.

#Ciberseguridad#IA#GobernanzaDeIACISO#IntegridadDeDatos#CadenaDeSuministroNISTOneCompliant

Asegura tu cadena de suministro AI

OASAT OASF OASAT OneCompliant abordan la procedencia de los datos, RAG , la gobernanza de los modelos y la integridad del conocimiento, es decir, los controles de los que carecen la mayoría Gobernanza IA .