Jak podaje Google w publikacji z 23 kwietnia, badanie archiwum Common Crawl ujawniło próby pośredniego prompt injection, w tym wykradania danych i niszczenia plików, zwykle oceniane jako mało zaawansowane. Dla firmy wdrażającej agenta AI to powód, by sprawdzić, do jakich plików, skrzynek pocztowych i operacji daje mu dostęp.

Czy strona WWW, którą agent ma przeczytać na polecenie pracownika, powinna móc zdecydować o wysłaniu firmowego pliku? Odpowiedź wydaje się oczywista, dopóki rozmowa o wdrożeniu nie przejdzie od celu zadania do zakresu dostępu. Proponujemy zacząć właśnie od tego pytania: które uprawnienia są potrzebne do zebrania informacji, a które pozwalają już działać na zasobach firmy? To pytanie projektowe, bez przypisywania konkretnej organizacji wycieku. Po ustaleniach Google postawmy je, zanim przyznamy agentowi dostęp do poczty lub prawo usuwania plików. Rozmowę z zespołem zakończmy zapisem, kto zatwierdza taki dostęp i na jakiej podstawie uznaje go za potrzebny.

Treść z WWW próbuje przejąć rolę polecenia

Badanie wzorców pośredniego prompt injection w archiwum Common Crawl dotyczy według Google prób sterowania systemem AI przez treść, którą ten przetwarza. W tym mechanizmie instrukcja atakującego trafia do materiału odczytywanego przez agenta. Samo znalezienie takiej instrukcji nie dowodzi jeszcze jej wykonania ani szkody w firmie.

Z tego rozróżnienia wynika nasza rekomendacja: treść pobraną z WWW traktujmy jako materiał do analizy. Nie przyznawajmy jej prawa do rozszerzania zadania zleconego przez pracownika. Jeśli agent ma zebrać informacje, sprawdźmy osobno uzasadnienie dostępu do firmowych plików, możliwość ich zmiany oraz prawo wysyłania wiadomości. Przy każdym z tych uprawnień poprośmy właściciela wdrożenia o wskazanie zadania, które go wymaga.

Prób wykradania danych i niszczenia plików opisanych przez Google użyjmy jako podstawy pytań kontrolnych. Czy zatwierdzony zakres pracy obejmuje przekazanie pliku poza firmę? Czy obejmuje jego usunięcie? Odpowiedzi zapiszmy przed uruchomieniem agenta, aby późniejszą ocenę jego zachowania odnieść do uzgodnionego zakresu. Nie zakładajmy przy tym, że każdy agent dysponuje wszystkimi wymienionymi możliwościami.

Prawo agenta do przeczytania strony WWW nie powinno dawać tej stronie prawa do dysponowania firmowym plikiem.

Mało zaawansowane próby nie są pomiarem odporności firmy

Według Google obserwowane próby były zwykle mało zaawansowane. Zachowajmy to zastrzeżenie w informacji dla zarządu: opis próby wykradania danych nie uprawnia do ogłoszenia potwierdzonego wycieku. Równocześnie oceny badaczy nie używajmy jako zastępstwa dla sprawdzenia własnej konfiguracji. Z przywołanych ustaleń nie dowiemy się, czy zabezpieczenia agenta używanego w konkretnej firmie zadziałają.

Nie wiemy też, jakie procedury dostępu obowiązują u czytelnika i czy ludzie ich przestrzegają. Deklarację zderzmy z praktyką: porównajmy opis zadania agenta z jego rzeczywistymi uprawnieniami. Jeżeli dokumentacja przewiduje wyłącznie czytanie plików, poprośmy administratora o potwierdzenie zakresu operacji dostępnych w konfiguracji. Każdą rozbieżność zapiszmy do wyjaśnienia, bez przypisywania jej automatycznie skutków ataku.

W notatce o badaniu Common Crawl oddzielmy ustalenia od prognoz. Wykryte próby i ocena ich zaawansowania opisują obserwowany materiał. Przewidywania dotyczące przyszłej skali i tempa ataków oraz tego, ile z nich się powiedzie, oznaczajmy jako przewidywania. Na podstawie faktów przywołanych tutaj nie określimy, kiedy ani z jakim skutkiem podobna próba może dotyczyć naszej organizacji. Decyzję o uprawnieniach oprzyjmy więc na zadaniu agenta, bez dopisywania liczbowej prognozy zagrożenia.

Dostęp do poczty i plików wymaga decyzji o zakresie działania

Wniosek zarządczy z ustaleń Google proponujemy sformułować konkretnie: przyznawajmy agentowi AI dostęp uzasadniony zadaniem i ustalajmy, które operacje wymagają zatwierdzenia. Dla poczty rozpatrzmy osobno czytanie wiadomości i ich wysyłanie. Dla plików oddzielmy odczyt od zmiany lub usunięcia. Przy każdej dopuszczonej operacji wskażmy osobę odpowiedzialną za decyzję o jej udostępnieniu.

Jeżeli agent ma wysyłać firmowy plik, zaprojektujmy zatwierdzenie obejmujące wskazanie pliku, odbiorcy oraz celu przekazania. Jeżeli ma usuwać pliki, wymagajmy wskazania zakresu tej operacji. To nasze zalecenia projektowe; czy działają w używanym rozwiązaniu, sprawdźmy osobno. Nie przedstawiajmy ich zarządowi jako gwarancji odporności na prompt injection ani jako zabezpieczeń przetestowanych w opisanym badaniu.

Koszt ograniczeń również omówmy przez konkretne zadanie agenta AI. Poprośmy właściciela procesu o wskazanie, które czynności wymagałyby udziału człowieka po zawężeniu dostępu do poczty i plików. Czas potrzebny na te zatwierdzenia pozostaje do ustalenia w firmie. Przywołane fakty nie pozwalają obliczyć ani kosztu takiej kontroli, ani wartości strat po ewentualnym ataku.

Uprawnienie do wysłania lub usunięcia pliku powinno wynikać z zatwierdzonego zadania agenta AI.

Polska firma potrzebuje oceny własnego wdrożenia

Przywołane ustalenia Google nie wskazują polskiej ofiary. Nie wyprowadzajmy z nich zatem opowieści o lokalnym incydencie ani oceny skali problemu w Polsce. Dla polskiej organizacji wdrażającej agenta AI proponujemy punkt wyjścia, który można sprawdzić u siebie: opis jego zadania, zakres dostępu do poczty i plików oraz reguły zatwierdzania operacji.

Do rozmowy o wdrożeniu przygotujmy konkretną decyzję: jaki dostęp agent ma otrzymać i kto potwierdzi jego zasadność. Przy brakujących informacjach zapiszmy niewiadomą wraz z osobą odpowiedzialną za jej wyjaśnienie. Ustalmy także warunek powrotu do oceny, na przykład rozszerzenie zadania o wysyłanie wiadomości. Takie podejście nie wymaga dopisywania polskiej ofiary; wynika z pytania, czy zewnętrzna treść może próbować sterować uprawnieniami, które sami przyznajemy agentowi.

Co z tym zrobić w poniedziałek

  1. Opisz dostęp wybranego agenta AI. Przeznacz 30 minut na zapisanie jego zadania oraz znanych uprawnień do plików i poczty. Przy każdym zaznacz uzasadnienie albo brak potwierdzenia. Niewiadome przypisz osobie, która sprawdzi konfigurację.
  2. Przygotuj regułę zatwierdzania operacji. W 30 minut wybierz wysłanie albo usunięcie pliku, jeśli agent ma takie uprawnienie. Zapisz wymagany zakres informacji i osobę zatwierdzającą; gdy operacja jest niedostępna, odnotuj to. Wdrożenie reguły zaplanuj osobno.
  3. Zaprojektuj próbę pośredniego prompt injection. W 30 minut opisz test, w którym treść WWW próbuje skłonić agenta do operacji poza zadaniem. Wskaż oczekiwaną odmowę działania, sposób sprawdzenia wyniku i wykonawcę. Realizację zaplanuj w odizolowanym środowisku z danymi testowymi.

Zakres dostępu firmowego agenta AI projektujmy z założeniem, że czytana treść może próbować nim sterować. O przyznaniu prawa do wysyłania poczty lub usuwania plików powinna rozstrzygać potrzeba zatwierdzonego zadania. Ocena uprawnień wymaga takiej decyzji także wtedy, gdy obserwowane próby ataku są mało zaawansowane.

Źródła

Redakcja cyberinsight.pl.