Zarządzanie · Risk związane ze sztuczną inteligencją Risk Architektura

Nowa granica cyberbezpieczeństwa:
– bezpieczeństwo łańcucha dostaw wiedzy

W ciągu ostatniej dekady liderzy w dziedzinie cyberbezpieczeństwa skupiali się na ochronie systemów, sieci i danych. Sztuczna inteligencja wprowadza nową kategorię risk większość organizacji nie jest jeszcze gotowa sobie poradzić — chodzi o integralność wiedzy zasilającej nasze systemy oparte na sztucznej inteligencji.

KS
Kevin Stout
Założyciel, OneCompliant .r.o. · Specjalista ds. bezpieczeństwa w dziedzinie sztucznej inteligencji
Czas czytania: 7 minut
ZarządzanieArchitektura
Bezpieczeństwo łańcucha dostaw wiedzy — integralność danych w sztucznej inteligencji

W ciągu ostatniej dekady liderzy w dziedzinie cyberbezpieczeństwa skupiali się na ochronie systemów, sieci i danych. Nadal ma to zasadnicze znaczenie. Jednak sztuczna inteligencja wprowadza nową kategorię risk zarządzanie większość organizacji nie jest jeszcze przygotowana.

Wiarygodność wiedzy, na której opierają się nasze systemy sztucznej inteligencji.

Jak wygląda łańcuch dostaw wiedzy w dziedzinie sztucznej inteligencji

Większość korporacyjnych systemów sztucznej inteligencji opiera się na złożonych potokach informacji — nie chodzi tu tylko o sam model, ale o wszystko, co do niego trafia:

Wewnętrzne dane przedsiębiorstwa
Zewnętrzne interfejsy API i zbiory danych stron trzecich
Bazy wiedzy dostawców i korpusy wyszukiwania
Źródła internetowe i treści dostępne w otwartej sieci
Treści generowane przez model, które są ponownie wprowadzane do systemu

W ten sposób powstaje coś bardzo podobnego do tego, co obserwowaliśmy wiele lat temu w ekosystemie oprogramowania: łańcuch dostaw wiedzy. I podobnie jak w przypadku łańcuchów dostaw oprogramowania, procesami tymi można manipulować.

Pojawiające się zagrożenia

Risk
Zafałszowanie danych szkoleniowych
Szkodliwy wpływ zbiorów danych wykorzystywanych do szkolenia modeli — wprowadzanie błędów systematycznych, „tylnych drzwi” lub niebezpiecznych zachowań, które utrzymują się przez cały okres eksploatacji modelu.
Risk
Manipulacja wynikami wyszukiwania
Wprowadzanie wprowadzających w błąd informacji do zewnętrznych źródeł wiedzy wykorzystywanych przez RAG — tak, aby model traktował treści kontrolowane przez atakującego jako zweryfikowane fakty.
Risk
Ataki typu „prompt injection”
Instrukcje przeciwnikowe osadzone w treści odczytywanej przez system sztucznej inteligencji — wpływające na wyniki modelu bez bezpośredniego dostępu do samego modelu ani infrastruktury.
Risk
Wzmocnienie treści syntetycznej
Informacje generowane przez sztuczną inteligencję, które utrwalają błędne wnioski — jest to szczególnie niebezpieczne w RAG , gdzie treści syntetyczne mogą ponownie trafić do bazy wiedzy.

Skutkiem tego nie zawsze jest klasyczne naruszenie bezpieczeństwa. Może to być coś znacznie bardziej subtelnego: decyzje podejmowane w przedsiębiorstwie w oparciu o zafałszowaną wiedzę.

Ramy te zaczynają zajmować się tą kwestią

Osoby odpowiedzialne za bezpieczeństwo znają już struktury, które w pewnym stopniu pozwalają sprostać temu wyzwaniu:

Ramy zarządzania ryzykiem w zakresieNIST RMF)NIST Ustawa UE o sztucznej inteligencji ISO/IEC 42001 OASF

W ramach tych podejść coraz większy nacisk kładzie się na pochodzenie danych, zarządzanie modelami, nadzór ze strony ludzi oraz ciągłe monitorowanie wyników działania sztucznej inteligencji. Kierunek jest jasny — nawet jeśli większość organizacji nie wdrożyła jeszcze tych rozwiązań w praktyce.

Rola dyrektora ds. bezpieczeństwa informacji CISO zmianom

W praktyce oznacza to, że zakres naszych obowiązków ulega zasadniczej rozszerzeniu.

Tradycyjna CISO
„Czy nasz system jest bezpieczny?”
CISO w erze sztucznej inteligencji
„Czy możemy ufać wiedzy, na podstawie której nasze systemy podejmują decyzje?”

Nie odpowiadamy już wyłącznie za ochronę infrastruktury.

Stajemy się strażnikami integralności informacji.

W przedsiębiorstwie opartym na sztucznej inteligencji najważniejszym pytaniem może już nie być to, czy system jest bezpieczny, ale czy można ufać wiedzy, z której korzysta.

Co to oznacza w praktyce

Zabezpieczenie łańcucha dostaw wiedzy oznacza rozszerzenie środków bezpieczeństwa tak, aby obejmowały:

Sterowanie
Śledzenie pochodzenia danych
Wiedz, skąd pochodzi każda informacja wprowadzana do systemów sztucznej inteligencji, kto jest jej autorem oraz czy została zweryfikowana.
Sterowanie
Wzorcowe zarządzanie w całym cyklu życia
Systemy sztucznej inteligencji muszą podlegać nadzorowi na wszystkich etapach – od opracowania, przez szkolenie, wdrożenie, aż po monitorowanie – i nie mogą być traktowane jako jednorazowe wdrożenie.
Sterowanie
Ciągłe monitorowanie wydajności
Wykrywanie sytuacji, w których wyniki generowane przez sztuczną inteligencję odbiegają od oczekiwanego zachowania — co może wskazywać na uszkodzenie danych, a nie tylko na awarię systemu.
Sterowanie
Ludzki nadzór w kluczowych momentach podejmowania decyzji
Zapewnienie rzetelnej weryfikacji przez człowieka w sytuacjach, gdy wyniki generowane przez sztuczną inteligencję mają wpływ na istotne decyzje biznesowe, operacyjne lub regulacyjne.

Podsumowanie

Organizacje, które już dziś zaczną zabezpieczać swoje łańcuchy dostaw wiedzy, będą znacznie lepiej przygotowane do kolejnego etapu wdrażania sztucznej inteligencji.

Ci, którzy tego nie zrobią, będą zmuszeni reagować pod presją — ze strony organów regulacyjnych, klientów i cyberprzestępców — na awarie, które były całkowicie przewidywalne.

#Cyberbezpieczeństwo#AI#ZarządzanieAICISO#Integralność danych#Łańcuch dostawNISTOneCompliant

Zabezpiecz swój łańcuch dostaw wiedzy w zakresie sztucznej inteligencji

OASAT OASF OASAT OneCompliant zajmują się pochodzeniem danych, RAG , zarządzaniem modelami oraz integralnością wiedzy — czyli elementami kontroli, których brakuje w większości programów zarządzania sztuczną inteligencją.

Zarezerwuj OASAT Poznaj platformę