Większość systemów SOC została stworzona w celu wykrywania złośliwego oprogramowania, luk w zabezpieczeniach, anomalii sieciowych oraz znanych schematów ataków. To właściwa podstawa. Jednak sztuczna inteligencja wprowadza zupełnie nową kategorię zagrożeń — a obecny system wykrywania nie został do tego przygotowany.
Co się zmienia
Atakujący nie ograniczają się już wyłącznie do kodu. Obecnie mogą:
Manipulowanie systemami sztucznej inteligencji za pomocą specjalnie przygotowanych danych wejściowych
Starannie skonstruowane polecenia, które powodują, że system zachowuje się w sposób, którego jego twórcy nigdy nie przewidzieli — bez uruchamiania jakichkolwiek istniejących alertów.
Wpływ na wyniki bez naruszania infrastruktury
Brak przemieszczania się w sieci. Brak eskalacji uprawnień. Brak anomalii w ruchu sieciowym. Atak odbywa się wyłącznie w warstwie aplikacji — w języku programowania.
Wydobywanie danych wrażliwych na podstawie wzorców interakcji
Wyciek danych, który wygląda jak zwykłe zapytanie. Sztuczna inteligencja pełni rolę „zdezorientowanego zastępcy” — ma dostęp do danych i została przekonana, by z niego skorzystać.
Obniżenie wiarygodności modelu bez uruchamiania alertów
Stopniowe zatruwanie pamięci, baz wiedzy lub kontekstu, które z czasem — w sposób niewidoczny — osłabia działanie systemu.
Dzieje się to w ramach standardowych procesów aplikacji. Wasze narzędzia SOC nie monitorują tego obszaru.
Luka w wykrywaniu
Wasze SOC jest zoptymalizowane pod kątem sygnałów. Ataki oparte na sztucznej inteligencji mają charakter semantyczny. Te narzędzia nie pokrywają się.
✓ Twój SOC wykrywa
- Pakiety i ruch sieciowy
- Logi i zdarzenia systemowe
- Zachowanie punktów końcowych
- Anomalie tożsamości
- Znane sygnatury ataków
✗ Twój SOC nie ma wglądu w
- Treść i intencja polecenia
- Znaczenie wyników modelu
- Manipulacja wynikami wyszukiwania
- Wyciek danych semantycznych
- Zakłócanie zawartości okna kontekstowego
Najważniejsze jest to, że nie są to przypadki skrajne. Stanowią one główne wektory ataku na systemy sztucznej inteligencji.
Komenda powodująca wyciek danych wygląda jak zwykłe żądanie.
Zainfekowany kontekst wygląda jak prawidłowe dane wejściowe.
Zmanipulowane dane wyjściowe wyglądają jak poprawna odpowiedź.
Ekspozycja w rzeczywistych warunkach
Jeśli w Twoim środowisku występuje którykolwiek z poniższych elementów, oznacza to, że masz już nie monitorowaną powierzchnię ataku:
Obsługa klienta wspomagana sztuczną inteligencją
Wewnętrzni asystenci ds. wiedzy
Platformy analityczne oparte na sztucznej inteligencji
Co muszą teraz zrobić dyrektorzy ds. bezpieczeństwa informacji (CISO)
To nie jest modernizacja narzędzi. To zmiana paradygmatu.
01
Rozszerz wykrywanie z sygnałów na semantykę — Twoje możliwości wykrywania muszą sięgać głęboko do warstwy interakcji AI, a nie tylko do warstwy sieci i punktów końcowych.
02
Interakcje z systemami AI — rejestrowanie zapytań i odpowiedzi nie jest opcjonalne w środowisku podlegającym regulacjom. Jeśli nie widać, o co zapytano system AI i jaka była jego odpowiedź, nie można wykryć ataku.
03
Należy zdefiniować niebezpieczne skutki, a nie tylko złośliwe dane wejściowe — SOC musi wiedzieć, jak wygląda nieprawidłowa odpowiedź sztucznej inteligencji, a nie tylko jak wygląda nieprawidłowy pakiet.
04
Wprowadź modelowanie zagrożeń specyficznych dla sztucznej inteligencji — w rejestrze zagrożeń muszą znaleźć się: wstrzykiwanie promptów, wstrzykiwanie pośrednie, zatruwanie wyników wyszukiwania, manipulacja wynikami oraz nadużywanie delegacji.
05
Należy dostosować SOC do zasad zarządzania sztuczną inteligencją i kontroli danych — wykrywanie bez odpowiednich zasad zarządzania jest niekompletne. SOC musi mieć wgląd w to, do czego uprawnione są systemy sztucznej inteligencji, aby móc wykrywać sytuacje, w których odbiegałyby one od tych uprawnień.
Rzeczywistość na szczeblu zarządu
Możesz to wszystko przygotować:
Pełny zasięg punktów końcowych
Rygorystyczne środki kontroli tożsamości
Dojrzała zdolność reagowania na incydenty
…i nadal pozostawać całkowicie nieświadomym ataków opartych na sztucznej inteligencji.
Podsumowanie
Stworzyliśmy systemy SOC w celu wykrywania złośliwych działań.
Teraz musimy wykryć złośliwy wydźwięk.
Większość organizacji nie osiągnęła jeszcze tego etapu. Pierwsze, które to osiągną, to te, które potraktowały bezpieczeństwo sztucznej inteligencji jako odrębną dyscyplinę operacyjną — a nie jako kwestię drugorzędną.
#Cyberbezpieczeństwo
#AI
#SOC
#BezpieczeństwoAI
CISO
#Wstrzykiwanie podpowiedzi
#Bezpieczeństwo semantyczne
#ZarządzanieAI
OneCompliant
Czy wasze centrum operacyjne (SOC) jest przygotowane na zagrożenia związane ze sztuczną inteligencją?
OASAT OneCompliant obejmuje analizę luk w wykrywaniu opartą na sztucznej inteligencji — pozwala ona zidentyfikować, czego obecne centrum operacyjne bezpieczeństwa (SOC) nie jest w stanie wykryć oraz jakie środki kontroli są potrzebne, aby te luki wyeliminować.
