Pasce AI : Útoková plocha , o ktorej nikto nehovorí
Spoločnosť Google DeepMind práve zverejnila systematický rámec pre novú triedu hrozieb:
adversárny obsah vytvorený špeciálne na manipuláciu, oklamanie a zneužitie
autonómnych agentov umelej inteligencie. Tu je to, čo CISO každý CISO pochopiť – a na základe čoho CISO okamžite konať.
KS
Kevin Stout
Zakladateľ spoločnosti OneCompliant .r.o.
Čas čítania: 10 minútBezpečnosťAgentná AIAnalýza výskumu
Výskumníci z Google DeepMind zverejnili prácu, ktorú považujem za jednu z najdôležitejších
štúdií v oblasti bezpečnosti z roku 2025 pre každého, kto nasadzuje agentov AI regulovaných prostrediach.
Predstavuje systematický rámec pre „pasceAI — nepriateľský obsah
vložený do informačného prostredia špeciálne s cieľom manipulovať s autonómnymi agentmi.
Nie je to len teória. Vychádza to z preukázaných útokov, empirických porovnaní
a skutočných incidentov. A priamo to súvisí s medzerami v riadení, o ktorých som
písal – počnúc nekontrolovaným delegovaním.
„Tým, že táto pasca mení prostredie namiesto modelu, obracia vlastné schopnosti agenta proti nemu.“
Táto jediná veta z článku vystihuje podstatu problému. Zabezpečovali sme
modely. Zabezpečovali sme rozhrania API. Zabezpečovali sme infraštruktúru. Avšak autonómne
agenty využívajú web – a ten sa teraz dá zneužiť proti nim.
Šesť typov útokov – a prečo sú dôležité pre vašu spoločnosť
V článku sa uvádza šesť rôznych kategórií pascí pre agentov, z ktorých každá sa zameriava na inú
úroveň fungovania autonómnych agentov. V praxi to znamená nasledovné:
1
Pasce pri vkladaní obsahu
Cieľ: Vnímanie
Skryté pokyny vložené do kódu HTML, CSS, metadát alebo binárnych údajov obrázkov – pre ľudí neviditeľné, avšak agentmi analyzované a spracovávané. Jednoduché vloženie príkazov do webového obsahu čiastočne ovláda agentov až v 86 % testovaných scenárov.
2
Pasti sémantickej manipulácie
Cieľ: Logické myslenie
Ovplyvňuje uvažovanie agenta prostredníctvom tendenčného rámcovania, jazyka signalizujúceho autoritu a kontextového primingu – bez toho, aby vydal akýkoľvek otvorený príkaz. Agent dospeje k nesprávnemu záveru, pričom je presvedčený, že uvažoval správne.
3
Pasti kognitívneho stavu
Cieľ: Pamäť a učenie sa
Znehodnocuje RAG bázy RAG , úložiská dlhodobej pamäte alebo ukážky kontextového učenia. Útoky pretrvávajú naprieč reláciami a používateľmi. Vložením len niekoľkých dokumentov do znalostnej bázy je možné spoľahlivo manipulovať s výstupmi pri cielených dotazoch.
4
Pasce na reguláciu správania
Cieľ: Akcia
Vstavané jailbreaky, pasce na exfiltráciu dát a útoky spočívajúce vo vytváraní podagentov. Webové agenty s oprávneniami na úrovni operačného systému boli nasadené na exfiltráciu lokálnych súborov a hesiel s úspešnosťou presahujúcou 80 %.
5
Systémové pasce
Cieľ: Dynamika viacerých agentov
Využíva homogénnosť agentov na vyvolanie zlyhaní na makroúrovni — útoky spôsobujúce preťaženie, kaskádové zlyhania (podobné udalosti „Flash Crash“ z roku 2010), tichá kolúzia a Sybilove útoky, ktoré narúšajú kolektívne rozhodovanie.
6
Pasce typu „human-in-the-loop“
Cieľ: Ľudský dozorca
Sú navrhnuté tak, aby u ľudských hodnotiteľov vyvolali únavu zo schvaľovania, prezentovali technicky neškodne vyzerajúce súhrny škodlivých činností alebo zneužívali automatizačné skreslenie – čím obchádzajú poslednú úroveň ľudského dohľadu.
Súvislosť s nekontrolovaným delegovaním
Pravidelní čitatelia si určite všimnú súvislosť s mojím predchádzajúcim príspevkom o
nekontrolovanom delegovaní. Časť štúdie s názvom „Behavioural Control Traps“ konkrétne
uvádza „Sub-agent Spawning Traps“ — situácie, v ktorých útočník prinúti nadradeného agenta,
aby vytvoril inštancie škodlivých podriadených agentov v rámci svojho vlastného dôveryhodného riadiaceho toku.
Nie je to náhoda. Rámec DeepMind a problém delegovania majú
spoločnú základnú príčinu: vyvinuli sme bezpečnostné opatrenia pre deterministické systémy,
a teraz zavádzame autonómne systémy.
Pasca typu „Content Injection“, ktorá unesie koordinačného agenta, neohrozuje len
tohto agenta. Prostredníctvom delegovania sa šíri cez každého podagenta, ktorého
koordinátor vytvorí. Útoková plocha sa znásobuje s každou vrstvou hierarchie agentov.
Čo sa v článku píše o dynamickom maskovaní – a prečo by vás to malo znepokojovať
Jedno zistenie, ktoré ma zarazilo: štúdia dokazuje, že škodlivé webové stránky dokážu
už teraz rozpoznať navštevujúcich AI a zobrazovať im iný obsah, ako vidia ľudia.
Skript na identifikáciu odtlačkov identifikuje prvky automatizácie, charakteristiky IP a
indikátory správania. Ak je návštevník AI , zobrazí sa mu vizuálne identická,
ale sémanticky odlišná stránka – s vloženými úlohami na vstrekovanie výziev.
Ľudský kontrolór nezaznamená žiadnu nezrovnalosť. Agent dostane pokyny na exfiltráciu
dát alebo zneužitie svojich nástrojov.
Vaši agenti už prehliadajú web, ktorý ich dokáže odhaliť. A väčšina organizácií nemá žiadnu schopnosť toto odhaliť.
Tri zistenia, na základe ktorých CISO každý CISO okamžite konať
RAG predstavujú primárnu útočnú plochuVložením niekoľkých starostlivo vytvorených dokumentov do vyhľadávacieho korpusu je možné spoľahlivo manipulovať s výstupmi agentov pri cielených dotazoch – s úspešnosťou útoku presahujúcou 80 % pri menej ako 0,1 % znečistenia dát. Ak vaši agenti vyhľadávajú informácie vo vnútorných wiki, úložiskách dokumentov alebo verejných webových zdrojoch, ide o aktívnu zraniteľnosť.
Trvalosť pamäte zvyšuje odolnosť útokovNa rozdiel od útokov zameraných na vnímanie, pasce kognitívneho stavu pretrvávajú aj medzi jednotlivými reláciami a ovplyvňujú viacerých používateľov. Útok, ktorý sa dnes vtlačí do pamäte agenta, sa môže prejaviť až o niekoľko týždňov neskôr, keď ho vyvolá konkrétny kontext. To zásadným spôsobom mení prístup k riešeniu incidentov.
Medzera v zodpovednosti je reálna a nevyriešenáV dokumente sa to výslovne uvádza: ak kompromitovaný agent spácha finančný trestný čin, rozdelenie zodpovednosti medzi prevádzkovateľom agenta, poskytovateľom modelu a vlastníkom domény je otvorenou právnou otázkou. V regulovaných odvetviach je táto nejednoznačnosť vaším problémom – nie problémom niekoho iného.
Čo to vyžaduje z hľadiska riadenia
V článku sú načrtnuté stratégie zmierňovania v troch rovinách. Takto ich
prekladám do požiadaviek na prevádzkové riadenie:
Overenie zdroja pred načítaním — skôr, ako sa akýkoľvek externý obsah dostane do kontextu agenta, je potrebné posúdiť jeho dôveryhodnosť. Nestačí len posúdiť reputáciu URL adresy — je potrebná aj štrukturálna analýza zameraná na skryté pokyny.
Kontroly integrityRAG — považujte svoju znalostnú bázu na vyhľadávanie za bezpečnostnú hranicu. Kontroly prístupu, sledovanie pôvodu a detekcia anomálií vo vyhľadanom obsahu nie sú v regulovaných prostrediach voliteľné.
Identita agenta a referenčné hodnoty správania — nemožno zistiť nezvyčajné správanie bez toho, aby ste vedeli, ako vyzerá normálne správanie. Každý nasadený agent potrebuje referenčné hodnoty správania a ich priebežné monitorovanie.
Protokolovanie reťazca delegovania — ako som uviedol v článku o delegovaní: celý reťazec musí byť kontrolovateľný. Kontroly s ľudským zásahom nemajú žiadny zmysel, ak kontrolóri vidia len súhrny na úrovni koordinátora, v ktorých chýbajú akcie podriadených agentov.
Rámce zodpovednosti a zodpovednosti voči tretím stranám — jasne stanovte, kto nesie zodpovednosť za konanie zástupcov vo vašom regulačnom kontexte. Nečakajte, až sa v dôsledku incidentu odhalí nejaká medzera.
Simulácia útokov červeného tímu zameraná na hrozby spojené s agentmi — vaša súčasná metodika penetračných testov nebola navrhnutá pre autonómne agenty. Kategórie pascí na agentov je potrebné výslovne zahrnúť do vášho programu modelovania hrozieb a testovania.
Záver
Článok spoločnosti DeepMind končí vetou, ktorá by mala visieť na stene každého Riadenie AI :
„Web bol vytvorený pre ľudské oči; teraz sa prispôsobuje pre strojové čítanie. Kľúčovou otázkou už nie je len to, aké informácie existujú, ale tomu, čomu budú naše najvýkonnejšie nástroje presvedčené.“
Zabezpečenie integrity toho, čomu agenti veria – čo získavajú, nad čím uvažujú,
na základe čoho konajú – je výzvou v oblasti riadenia v ére agentov. Nie je to problém
modelu ani problém infraštruktúry. Je to problém architektúry riadenia.
A na rozdiel od mnohých bezpečnostných výziev je časový priestor na riešenie tohto problému ešte predtým, ako sa
konkrétne vyjasnia očakávania regulačných orgánov, veľmi obmedzený. Štúdia je verejne dostupná. Regulačné orgány čítajú výskumné práce.
Požiadavky AI EÚ AI týkajúce sa ľudského dohľadu a transparentnosti boli formulované ešte predtým, ako
sa „agent traps“ stali uznávanou kategóriou hrozieb. Nebudú aktualizované tak, aby zohľadňovali organizácie,
ktoré tomuto problému nevenovali pozornosť.
OASAT OneCompliant posudzuje vaše systémy umelej inteligencie z hľadiska kategórií „agent trap“,
risk delegovania a regulačných požiadaviek na riadenie – a to za 4 až 6 týždňov.
