Správa a riadenie · Risk umelej inteligencie Risk Architektúra

Ďalšia výzva v oblasti kyberbezpečnosti:
Bezpečnosť reťazca dodávok znalostí

Počas posledného desaťročia sa lídri v oblasti kyberbezpečnosti zameriavali na ochranu systémov, sietí a údajov. Umelá inteligencia prináša novú kategóriu risk väčšina organizácií ešte nie je pripravená reagovať – ide o integritu poznatkov, z ktorých čerpajú naše systémy umelej inteligencie.

KS
Kevin Stout
Zakladateľ, OneCompliant .r.o. · Bezpečnosť AI
Čas čítania: 7 minút
Správa a riadenieArchitektúra
Bezpečnosť reťazca dodávok znalostí — integrita AI

V uplynulom desaťročí sa lídri v oblasti kyberbezpečnosti zameriavali na ochranu systémov, sietí a údajov. To je naďalej nevyhnutné. Umelá inteligencia však prináša novú kategóriu risk väčšina organizácií ešte nie je pripravená reagovať.

Integrita poznatkov, z ktorých čerpajú naše AI .

Ako vyzerá dodávateľský reťazec AI

Väčšina podnikových AI sa opiera o zložité informačné toky – nielen o samotný model, ale o všetko, čo do neho prúdi:

Vnútropodnikové údaje
Externé rozhrania API a dátové súbory tretích strán
Znalostné bázy dodávateľov a korpusy na vyhľadávanie
Internetové zdroje a verejne dostupný webový obsah
Obsah generovaný modelom, ktorý sa vracia späť do systému

Vzniká tak niečo veľmi podobné tomu, čo sme pred rokmi videli v prípade softvérového ekosystému: dodávateľský reťazec vedomostí. A rovnako ako v prípade softvérových dodávateľských reťazcov, aj tieto kanály je možné ovplyvňovať.

Vznikajúce riziká

Risk
Znehodnocovanie trénovacích dát
Škodlivý vplyv dátových súborov použitých na trénovanie modelu — zakotvenie predsudkov, zadných dvierok alebo nebezpečného správania, ktoré pretrvávajú počas celej životnosti modelu.
Risk
Manipulácia s výsledkami vyhľadávania
Vkladanie zavádzajúcich informácií do externých zdrojov vedomostí, ktoré využívajú RAG — aby model považoval obsah kontrolovaný útočníkom za overený fakt.
Risk
Útoky typu „prompt injection“
Adverzárne pokyny zakomponované do obsahu, ktorý číta AI — ovplyvňujúce výstupy modelu bez akéhokoľvek priameho prístupu k modelu alebo infraštruktúre.
Risk
Zosilnenie syntetického obsahu
Informácie generované umelou inteligenciou, ktoré posilňujú nesprávne závery — čo je obzvlášť nebezpečné v RAG , kde sa syntetický obsah môže opäť dostať do znalostnej bázy.

Výsledkom nemusí byť vždy tradičné porušenie bezpečnosti. Výsledkom môže byť niečo oveľa nenápadnejšie: rozhodnutia v rámci podniku založené na skreslených informáciách.

Tieto rámce sa začínajú touto problematikou zaoberať

Vedúci pracovníci v oblasti bezpečnosti už poznajú rámce, ktoré sa začínajú zaoberať touto výzvou:

NIST AI RMF AI EÚ AI ISO/IEC 42001 OASF

Tieto rámce kladú čoraz väčší dôraz na pôvod údajov, riadenie modelov, ľudský dohľad a nepretržité monitorovanie AI . Smer je jasný – aj keď väčšina organizácií ho zatiaľ nezaviedla do praxe.

Úloha CISO neustále vyvíja

V praxi to znamená, že sa naše povinnosti zásadným spôsobom rozširujú.

Tradičná CISO
„Je náš systém bezpečný?“
CISO v ére umelej inteligencie
„Môžeme dôverovať poznatkom, na základe ktorých naše systémy prijímajú rozhodnutia?“

Naša zodpovednosť už nespočíva len v ochrane infraštruktúry.

Stávame sa strážcami integrity informácií.

V podniku, AI, už možno najdôležitejšou otázkou nie je to, či je systém bezpečný. Ide o to, či možno dôverovať poznatkom, ktoré systém využíva.

Čo to v praxi znamená

Zabezpečenie reťazca dodávok znalostí znamená rozšíriť bezpečnostné opatrenia tak, aby zahŕňali:

Ovládanie
Sledovanie pôvodu údajov
Majte prehľad o tom, odkiaľ pochádza každá informácia, ktorá vstupuje do vašich AI , kto je jej autorom a či bola overená.
Ovládanie
Vytvorenie vzoru riadenia v priebehu celého životného cyklu
AI musia podliehať regulácii počas celého procesu vývoja, trénovania, nasadenia a monitorovania – nemožno s nimi zaobchádzať ako s jednorazovou udalosťou nasadenia.
Ovládanie
Neustále monitorovanie výstupu
Zistenie, kedy sa AI odchyľujú od očakávaného správania — čo môže naznačovať poškodenie znalostnej bázy, a nie len zlyhanie systému.
Ovládanie
Ľudský dohľad v kritických rozhodovacích momentoch
Zabezpečenie zmysluplného ľudského posúdenia v prípadoch, keď AI slúžia ako podklad pre dôležité obchodné, prevádzkové alebo regulačné rozhodnutia.

Záverečná myšlienka

Organizácie, ktoré už dnes začnú zabezpečovať svoje znalostné dodávateľské reťazce, budú oveľa lepšie pripravené na ďalšiu fázu AI .

Tí, ktorí tak neurobia, budú pod tlakom – zo strany regulačných orgánov, zákazníkov a útočníkov – reagovať na zlyhania, ktoré boli úplne predvídateľné.

#Kyberbezpečnosť#AI#Správa umelej inteligencieCISO#Integrita údajov#Dodávateľský reťazecNISTOneCompliant

Zabezpečte si dodávateľský reťazec AI

OASAT OASF OASAT OneCompliant sa zameriavajú na pôvod údajov, RAG , správu modelov a integritu vedomostí – teda na kontrolné mechanizmy, ktoré vo väčšine Riadenie AI chýbajú.

Zarezervujte si OASAT Objavte platformu