Bezpečnosť · Agentic AI

Agentická AI skrytý problém:
Nekontrolované delegovanie

Väčšina organizácií sa zameriava na rýchle nasadenie, bezpečnosť modelov a ochranu osobných údajov. Všetko sú to dôležité veci. V agentných systémoch sa však objavuje ešte nebezpečnejší problém — nekontrolované delegovanie prístupových oprávnení medzi agentmi.

Dva systémy umelej inteligencie založené na agentovom prístupe — agentové Riadenie AI  risk delegovania

Väčšina organizácií, ktoré AI využívajú AI , sa zameriava na správne veci — vkladanie podnetov, bezpečnosť modelov, ochranu osobných údajov. Ide o skutočné riziká, ktoré si zaslúžia pozornosť. V prostrediach s agentmi sa však nenápadne vynára ešte nebezpečnejší problém: nekontrolované delegovanie prístupových oprávnení medzi agentmi.

Čo sa deje

V moderných AI už systémy nie sú izolované. Sú navzájom prepojené:

Agenti volajú iných agentov (A2A) Koordinujúci agenti dynamicky vyvolávajú podagenty na spracovanie paralelizovaných pracovných tokov — každý s vlastným prístupom a schopnosťami.
Orchestračné vrstvy (typu MCP) smerujú úlohy dynamicky Úlohy sa smerujú počas behu programu na základe kontextu a dostupnosti — nie na základe vopred schválených statických konfigurácií.
Nástroje, rozhrania API a zdroje údajov sú navzájom prepojené Jedna žiadosť používateľa môže spustiť reťaz interakcií agentov, volaní nástrojov a načítaní údajov, ktoré používateľ nikdy výslovne neautorizoval jednotlivo.

Tým vznikajú implicitné cesty dôvery — a väčšina organizácií nemá žiadne kontrolné mechanizmy, ktoré by im umožnili tieto cesty zistiť, nieto ešte riadiť.

Konkrétny príklad

Scenár delegovania — nedošlo k spusteniu porušenia
Agent A
Má prístup k citlivým údajom Autorizovaný. Obmedzený. Zaznamenaný v čase poskytnutia.
↓ poveriť úlohou
Agent B
NEMÁ prístup k citlivým údajom Nie je oprávnený — požiada však agenta A, aby údaje získal v jeho mene.
↓ výsledok
Systém
V súlade s predpismi. Žiadne upozornenie. Žiadne porušenie. Len „normálne“ správanie. K prístupu došlo. Dáta boli prenesené. V protokoloch sa nič nezdá byť v neporiadku.

Problémom nie je prístup. Je to delegovanie.

Už sa nezaoberáme tradičnou bezpečnostnou otázkou:

„Kto má prístup?“

Zaoberáme sa zásadne odlišnou otázkou:

„Kto môže zabezpečiť prístup?“

V agentických systémoch sa dôvera stáva tranzitívnou. Oprávnenia sa dajú kombinovať. Hranice sa stierajú. To vedie k:

Nepriame zvýšenie oprávnení Agent bez oprávnenia ho získa tak, že routing cez agenta, ktorý ho má.
Neoprávnené spustenie nástroja Agenti spúšťajú nástroje a rozhrania API, na používanie ktorých nikdy neboli priamo oprávnení — prostredníctvom reťazcov delegovania.
Zrušenie hraníc medzi údajmi Citlivé údaje prekračujú hranice klasifikácie, pretože delegujúci agent mal oprávnený prístup – aj keď prijímajúci agent ho nemal.
Bočné šírenie riadené príkazmi Manipulovaný agent šíri škodlivé inštrukcie laterálne cez sieť agentov — rýchlosťou počítača, bez toho, aby to človek zistil.

A to najznepokojujúcejšie na tom je, že to často vyzerá ako úplne normálne správanie systému.

Toto je klasický problém – v novom poňatí

Odborníci v oblasti bezpečnosti to hneď spoznajú: ide o „problém zmäteného zástupcu“.

Systém s legitímnou autoritou je zmanipulovaný tak, aby túto autoritu využíval v prospech niečoho, čo by ju nemalo mať. Teraz si tento problém predstavte takto:

DistribuovanéRozložené medzi desiatkami agentov, nástrojov a API – bez jediných systémových hraníc.
AutonómnyFunguje bez ľudských pokynov v každom kroku — samostatne uvažuje a koná.
Deje sa to rýchlosťou strojaZa milisekundy dokončí to, čo by ľudskému útočníkovi trvalo hodiny, keby to musel vykonať ručne.

V čom väčšina organizácií zaostáva

✓ Je zabezpečené

  • Modely a koncové body inferencie
  • Rozhrania API a integračné vrstvy
  • Infraštruktúra

✗ Nie je zabezpečené

  • Dôvera medzi agentmi
  • Hranice delegácií
  • Šírenie identity
  • Riadenie toku dát

Čo sa musí zmeniť

Ak zavádzate agentovú AI, začnite tým, že si odpoviete na tieto otázky:

Môže agent A delegovať svoje oprávnenie na agenta B?Je toto delegovanie výslovné, ohraničené a zaznamenané – alebo implicitné a neobmedzené?
Je delegovanie zaznamenávané v každom kroku?Nielen na úrovni koordinácie, ale pri každej interakcii medzi agentmi v reťazci.
Môžu agenti nepriamo vyvolávať nástroje prostredníctvom iných agentov?A ak áno, dochádza k policy v momente nepriameho spustenia?
Máte pod kontrolou pohyb údajov medzi agentmi?Sleduje sa pôvod údajov v rámci celého grafu interakcií agentov?

Čo je na to potrebné

Jednoznačná identita agenta — nie zdieľané prihlasovacie údaje. Každý agent potrebuje jednoznačnú, neprevoditeľnú identitu s výslovne vymedzenými oprávneniami.
Delegovanie s vymedzeným rozsahom a časovým obmedzením — akákoľvek právomoc, ktorú zástupca prenesie na inú osobu, musí mať výslovne vymedzený rozsah a časovo obmedzenú platnosť. Žiadne delegovanie na dobu neurčitú.
Kontroly založené na oprávneniach – nielen prístup založený na rolách. To, čo môže agent robiť, musí byť pod rovnako prísnou kontrolou ako to, čo môže vidieť.
Policy na koordinačnej vrstve — kontrolné mechanizmy musia existovať tam, kde sa prijímajú rozhodnutia o delegovaní, a nie len na hraniciach systému.
Úplná vysledovateľnosť interakcií agentov — kompletný reťazec delegovania, nielen pôvodná požiadavka a konečná akcia.
Pôvod údajov ako bezpečnostný kontrolný mechanizmus – sledovanie toho, ktorí agenti s údajmi pracovali, ich transformovali alebo odovzdali ďalej – a na základe akého oprávnenia.

Záverečná myšlienka

V tradičných systémoch: prístup je povolený.

V agentických systémoch: prístup sa šíri.

Ak nemáte pod kontrolou delegovanie úloh, nemáte pod kontrolou celý systém.

#Kyberbezpečnosť #AI #GenAI #Agentická umelá inteligencia #BezpečnosťAI CISO #ZeroTrust OneCompliant

Zhodnoťte, do akej miery ste AI agentickej AI

OASAT OneCompliant porovnáva vaše systémy umelej inteligencie z hľadiska riadenia, bezpečnosti a risk spojených s delegovaním právomocí risk a za 4–6 týždňov vypracuje plán nápravných opatrení zoradený podľa priority.