Agent AI bez weryfikacji wykonuje polecenia z zewnątrz

Podatność agentów AI na zewnętrzne instrukcje

Autonomia agentów AI rośnie, a użytkownicy coraz częściej delegują im zadania obejmujące zarządzanie plikami, pisanie kodu czy łączenie się z zewnętrznymi usługami. Eksperci z Gen Threat Labs wykazali, że agent może potraktować niezwierzytelnione treści napotkane na przykład podczas czytania poczty elektronicznej jako instrukcję do wykonania. W kontrolowanym eksperymencie doprowadziło to do uruchomienia poleceń systemowych, przesyłania danych na zewnątrz oraz destrukcyjnych operacji na plikach, bez wykorzystywania luk w oprogramowaniu.

Problem dotyczy także rozszerzeń i wtyczek instalowanych przez użytkowników. Badania wykazały, że część dodatków dostępnych w repozytoriach bywa złośliwa i podszywa się pod legalne narzędzia, wprowadzając ukryte instrukcje. Dodatkowo pojawia się złośliwe oprogramowanie, takie jak Warden Stealer, które celuje w pliki konfiguracyjne i dane lokalne asystentów AI, wyciągając z nich poufne dane uwierzytelniające oraz historie konwersacji.

Mechanizmy kontroli i bezpieczeństwa agentów

Aby ograniczyć ryzyko związane z autonomicznym działaniem systemów sztucznej inteligencji, wdraża się specjalne warstwy ochrony. Jednym z rozwiązań jest Agent Trust Hub, który pomaga weryfikować wtyczki i rozszerzenia jeszcze przed ich instalacją. System ten oferuje skanowanie dodatków oraz mechanizmy pozwalające agentom na samodzielne sprawdzanie poziomu bezpieczeństwa.

Ważnym elementem zabezpieczeń jest także kontrola samej komunikacji sieciowej. Narzędzia takie jak dedykowany VPN dla agentów pozwalają na szyfrowane i prywatne połączenia bez konieczności instalowania tradycyjnego oprogramowania klienta, co ułatwia zarządzanie ruchem generowanym przez autonomiczne procesy.

Filtrowanie działań przed ich wykonaniem

Samo szyfrowanie połączeń nie wystarcza, ponieważ agent może natrafić na złośliwą stronę internetową lub ulec manipulacji w trakcie pracy. Do kontroli procesów wykorzystuje się rozwiązania takie jak Sage, działające jako warstwa bezpieczeństwa dla asystentów kodowania. System ten korzysta z interfejsów API, aby interweniować przed uruchomieniem poleceń powłoki, operacji na plikach czy żądań sieciowych.

Dzięki temu możliwe jest zablokowanie działań takich jak pobieranie i natychmiastowe uruchamianie skryptów przez agenta konfiguracyjnego projektu. Standardy takie jak AARTS mają na celu ujednolicenie sposobu, w jaki platformy AI raportują zdarzenia związane z bezpieczeństwem i egzekwują decyzje systemów ochronnych.