Bezpieczeństwo · Agentic AI

Sztuczna inteligencja oparta na agentach ma ukryty problem:
Niekontrolowane przekazywanie uprawnień

Większość organizacji koncentruje się na szybkim wdrażaniu, bezpieczeństwie modeli oraz ochronie danych. To wszystko jest ważne. Jednak w systemach opartych na agentach pojawia się jeszcze bardziej niebezpieczny problem — niekontrolowane przekazywanie uprawnień dostępu między agentami.

Dwa systemy oparte na agentach sztucznej inteligencji — zarządzanie oparte na agentach oraz risk związane z delegowaniem uprawnień

Większość organizacji wykorzystujących obecnie sztuczną inteligencję skupia się na właściwych kwestiach — wprowadzaniu podpowiedzi, bezpieczeństwie modeli oraz prywatności danych. Są to realne zagrożenia i zasługują na uwagę. Jednak w środowiskach opartych na agentach pojawia się cicho coraz poważniejszy problem: niekontrolowane przekazywanie uprawnień dostępu między agentami.

Co się dzieje

We współczesnych środowiskach sztucznej inteligencji systemy nie działają już w izolacji. Są one ze sobą połączone:

Agenci wywołują innych agentów (A2A) Agenci koordynujący dynamicznie wywołują podagenci w celu obsługi równoległych strumieni pracy — z których każdy ma własny dostęp i możliwości.
Warstwy koordynacji (w stylu MCP) dynamicznie kierują zadania Zadania są kierowane w czasie wykonywania na podstawie kontekstu i dostępności — a nie na podstawie wcześniej zatwierdzonych, statycznych konfiguracji.
Narzędzia, interfejsy API i źródła danych są ze sobą połączone Pojedyncze żądanie użytkownika może wywołać łańcuch interakcji agentów, wywołań narzędzi i pobrań danych, na które użytkownik nigdy nie wyraził wyraźnej zgody w poszczególnych przypadkach.

W ten sposób powstają niejawne ścieżki zaufania — a większość organizacji nie dysponuje mechanizmami pozwalającymi je wykryć, nie mówiąc już o ich kontrolowaniu.

Konkretny przykład

Scenariusz delegowania — nie wykryto naruszenia
Agent A
Ma dostęp do danych wrażliwych Autoryzowany. Ograniczony zakres. Rejestrowany w momencie przydzielania uprawnień.
↓ zleca zadanie
Agent B
NIE ma dostępu do danych wrażliwych Nie ma uprawnień — ale prosi agenta A o pobranie danych w jego imieniu.
↓ wynik
System
Zgodność. Brak ostrzeżenia. Brak naruszenia. Po prostu „normalne” zachowanie. Dostęp miał miejsce. Dane zostały przesłane. W logach nie widać niczego nieprawidłowego.

Problem nie polega na dostępie. Chodzi o delegowanie uprawnień.

Nie mamy już do czynienia z tradycyjnym pytaniem zabezpieczającym:

„Kto ma dostęp?”

Mamy tu do czynienia z kwestią zasadniczo odmienną:

„Kto może zapewnić dostęp?”

W systemach agentycznych zaufanie nabiera charakteru przechodniego. Uprawnienia można łączyć. Granice ulegają zatarciu. Prowadzi to do:

Pośrednie podwyższenie uprawnień Agent nieposiadający uprawnienia uzyskuje je, routing przez agenta, który je posiada.
Nieautoryzowane uruchamianie narzędzi Agenci uruchamiają narzędzia i interfejsy API, do których nigdy nie otrzymali bezpośredniego upoważnienia — poprzez łańcuchy delegacji.
Zniesienie granic danych Dane wrażliwe przekraczają granice klasyfikacji, ponieważ podmiot przekazujący miał do nich uprawniony dostęp — nawet jeśli podmiot odbierający takiego dostępu nie posiadał.
Ruch poprzeczny sterowany poleceniami Manipulowany agent rozprzestrzenia złośliwe instrukcje w sieci agentów — z prędkością działania maszyn, bez wykrycia przez człowieka.

A co najbardziej niepokojące: często wygląda to na całkowicie normalne zachowanie systemu.

To klasyczny problem — w nowym wydaniu

Specjaliści ds. bezpieczeństwa rozpoznają to od razu: to tzw. „problem zdezorientowanego zastępcy”.

System posiadający uzasadnioną władzę jest manipulowany tak, by wykorzystywał tę władzę w imieniu podmiotu, który nie powinien jej posiadać. Teraz spróbujmy przeformułować ten problem w następujący sposób:

RozproszoneRozproszone między dziesiątkami agentów, narzędzi i interfejsów API — bez żadnych ograniczeń systemowych.
AutonomicznyDziałające bez konieczności wydawania poleceń przez człowieka na każdym etapie — samodzielnie rozumujące i działające.
Odbywa się z prędkością maszynyW ciągu milisekund wykonuje zadania, których ręczne wykonanie zajęłoby atakującemu wiele godzin.

W jakich obszarach większość organizacji ma braki

✓ Zabezpieczone

  • Modele i punkty końcowe wnioskowania
  • Interfejsy API i warstwy integracyjne
  • Infrastruktura

✗ Brak zabezpieczenia

  • Zaufanie między agentami
  • Granice okręgów wyborczych
  • Rozprzestrzenianie tożsamości
  • Kontrola przepływu danych

Co należy zmienić

Jeśli wdrażasz sztuczną inteligencję opartą na agentach, zacznij od udzielenia odpowiedzi na poniższe pytania:

Czy agent A może przekazać swoje uprawnienia agentowi B?Czy to przekazanie uprawnień ma charakter jawny, jest ograniczone zakresem i rejestrowane — czy też ma charakter dorozumiany i nieograniczony?
Czy delegowanie jest rejestrowane na każdym etapie?Nie tylko na poziomie koordynacji — ale przy każdej interakcji między agentami w łańcuchu.
Czy agenci mogą uruchamiać narzędzia pośrednio za pośrednictwem innych agentów?A jeśli tak, to czy w momencie pośredniego wywołania policy są policy ?
Czy kontrolujecie przepływ danych między agentami?Czy pochodzenie danych jest śledzone w całym grafie interakcji agentów?

Co jest do tego potrzebne

Wyraźna tożsamość agenta — a nie wspólne poświadczenia. Każdy agent musi posiadać odrębną, nieprzenoszalną tożsamość wraz z wyraźnie określonymi uprawnieniami w ramach określonego zakresu.
Delegowanie uprawnień o określonym zakresie i terminie — każde uprawnienie przekazywane przez podmiot innemu podmiotowi musi mieć wyraźnie określony zakres i termin ważności. Nie dopuszcza się delegowania uprawnień na czas nieokreślony.
Kontrola oparta na uprawnieniach — a nie tylko na rolach. To, co agent może zrobić, musi podlegać równie ścisłej kontroli, jak to, co może zobaczyć.
Policy na poziomie koordynacji — mechanizmy kontrolne muszą funkcjonować tam, gdzie podejmowane są decyzje dotyczące delegowania uprawnień, a nie tylko na granicach systemu.
Pełna identyfikowalność interakcji agentów — cały łańcuch delegowania, a nie tylko żądanie źródłowe i ostateczna czynność.
Pochodzenie danych jako środek kontroli bezpieczeństwa — śledzenie, którzy agenci mieli kontakt z danymi, przetwarzali je lub przekazywali dalej — oraz na jakiej podstawie.

Podsumowanie

W tradycyjnych systemach: przyznawany jest dostęp.

W systemach agentycznych: dostęp jest propagowany.

Jeśli nie kontrolujesz delegowania zadań, nie kontrolujesz systemu.

#Cyberbezpieczeństwo #AI #GenAI #Agentowa sztuczna inteligencja #BezpieczeństwoAI CISO #ZeroTrust OneCompliant

Oceń, w jakim stopniu jesteś narażony na działanie sztucznej inteligencji typu agentowego

OASAT OneCompliant pozwala przeanalizować systemy sztucznej inteligencji pod kątem risk zarządzaniem, bezpieczeństwem i delegowaniem uprawnień risk a jej wynikiem jest plan działań naprawczych z ustalonymi priorytetami, opracowany w ciągu 4–6 tygodni.