Według NCSC działania obrońców ograniczają także priorytety i zasady organizacyjne, co trzeba uwzględnić przy automatyzacji obrony z użyciem AI. W publikacji z 21 września autor proponuje ocenę planowanego działania według jego siły, zakresu, krytyczności, pewności wdrożenia oraz możliwości odtworzenia. Dla osoby zatwierdzającej automatyzację oznacza to pytanie o granice uprawnień i odpowiedzialność za skutek, zanim system zacznie samodzielnie wprowadzać zmiany.

Czy zatwierdzilibyśmy samodzielną zmianę w ważnym systemie, gdyby odpowiedź na pytanie o jej wycofanie brzmiała „ustalimy później”? Przy ocenie AI w obronie postawmy to pytanie przed zgodą na uruchomienie. Za punkt wyjścia przyjmijmy opis konkretnej czynności, którą chcemy przekazać automatowi. Dopiszmy do niego dozwolone uprawnienia, objęte nimi systemy oraz osobę odpowiedzialną za zaakceptowanie skutków. Dopiero z takim opisem przejdźmy do oceny testów i odtworzenia stanu sprzed zmiany. Publikacja NCSC daje podstawę do uporządkowania tej rozmowy. Poniższe pytania i zalecenia są redakcyjnym rozwinięciem wskazanych w niej kryteriów, przeznaczonym do przeglądu planowanej automatyzacji.

Siłę działania oceniaj razem z zasięgiem i krytycznością

Propozycja opisana przez NCSC obejmuje kilka odrębnych kryteriów oceny. Siła działania dotyczy tego, co automat może zrobić; zakres określa, jak szerokiego otoczenia dotknie jego działanie. Krytyczność odnosi tę ocenę do znaczenia systemów dla organizacji. Pewność wdrożenia i możliwość odtworzenia uzupełniają pytanie o dopuszczalny skutek.

W opisie planowanej automatyzacji zastąpmy ogólne „wspiera obronę” nazwą czynności. Zapiszmy, co dokładnie AI będzie mogła zmienić i gdzie kończy się jej uprawnienie. Osobno wskażmy systemy objęte tym działaniem i określmy ich znaczenie dla działalności firmy. Jeżeli zakresu albo krytyczności nie ustalono, pozostawmy w ocenie wyraźny brak odpowiedzi. Nie przyznawajmy automatyzacji korzystniejszej oceny na podstawie samej nieznajomości jej granic.

Nie kończmy przeglądu na pytaniu, czy uprawnienia są wystarczające do wykonania zadania. Zapytajmy również, czy zatwierdzamy wszystkie czynności, na które te uprawnienia pozwalają. W razie rozbieżności zaproponujmy ograniczenie zakresu albo ponowną decyzję osoby odpowiedzialnej. W dokumencie zgody zachowajmy ocenę według poszczególnych kryteriów, zamiast zastępować ją jednym nieobjaśnionym określeniem „bezpieczne”.

Zgoda na autonomiczną obronę powinna wskazywać granice dopuszczalnej zmiany i osobę odpowiedzialną za jej skutki.

Zasady organizacji przełóż na warunki wykonania zmiany

Według NCSC obrońcy muszą uwzględniać priorytety i zasady organizacyjne. Przy przeglądzie automatyzacji potraktujmy więc firmową zgodę na zmianę jako osobny przedmiot sprawdzenia. Obok opisu technicznego działania zapiszmy, jaki priorytet organizacji ma ono realizować i jakich ograniczeń nie może przekroczyć.

Zestawmy zakres planowanych uprawnień AI z zakresem zatwierdzenia. Jeśli dokument opisuje cel obronny, ale nie rozstrzyga dopuszczalnych skutków dla systemu, uzupełnijmy tę decyzję przed uruchomieniem. Ustalmy, kto może zgodzić się na dany skutek, a kto ma wykonać przywrócenie stanu sprzed zmiany. Nie przypisujmy obu zadań ogólnie „organizacji”. Wskażmy odpowiedzialne osoby lub role w dokumentacji tej automatyzacji.

W ocenie zgodności z procedurą zapytajmy o rzeczywiste warunki działania. Czy zgoda obejmuje cały planowany zakres? Czy zapisano sytuację, w której automat ma wstrzymać zmianę i przekazać decyzję człowiekowi? Brak odpowiedzi nazwijmy brakiem ustalenia. Dostępne fakty nie opisują konkretnego rozminięcia się procedur z postępowaniem ludzi, więc nie przypisujmy takiego zdarzenia żadnej firmie. Sprawdźmy za to własny projekt właśnie w miejscu, w którym ogólną zgodę przekładamy na konkretne uprawnienia.

Testy i odtworzenie wpisz do decyzji o uruchomieniu

W ramie NCSC pewność wdrożenia i możliwość odtworzenia są osobnymi kryteriami. Przygotowując decyzję zarządczą, zbierzmy zatem osobno podstawy zaufania do planowanej zmiany i opis postępowania po niepożądanym skutku. Przy testach odnotujmy, jakiego zakresu działania dotyczy wynik oraz czego nie sprawdzono.

Poprośmy osobę przedstawiającą automatyzację do akceptacji o powiązanie wyniku testu z konkretnym uprawnieniem i systemem. Jeżeli przedstawiona próba obejmuje węższy zakres niż planowane wdrożenie, zapiszmy tę różnicę do rozstrzygnięcia. Nie rozciągajmy potwierdzenia na niezweryfikowaną część projektu. Przy braku testów nie uzupełniajmy oceny przekonaniem, że wybrany sposób działania powinien być poprawny.

Przy odtworzeniu wymagajmy opisu czynności prowadzących do cofnięcia zmiany oraz wskazania osoby, która je podejmie. Dopiszmy sposób sprawdzenia, czy uzyskano oczekiwany stan. O koszty i czas takiego działania zapytajmy właściciela planowanej automatyzacji; dostępne fakty nie dają podstaw do podania uniwersalnej wartości. Jeśli odpowiedź pozostaje nieznana, pokażmy ją osobie akceptującej ryzyko jako nierozstrzygnięty element decyzji.

Nie uznawajmy wycofania zmiany za zapewnione, dopóki nie określimy sposobu jego wykonania i sprawdzenia wyniku.

W polskiej firmie zacznij od własnego zakresu uprawnień

Dla polskiego odbiorcy proponujemy wykorzystać kryteria NCSC do przeglądu jednej planowanej automatyzacji obronnej. Dostępne fakty nie pozwalają opisać polskiego wdrożenia ani wskazać krajowych ofiar nieprawidłowego działania AI. Nie wyprowadzajmy z tej publikacji oceny dojrzałości polskich firm. Odnieśmy pytania o uprawnienia, krytyczność, testy i odwracalność do własnej decyzji.

Na przeglądzie poprośmy o wspólną ocenę osobę odpowiedzialną za obronę i osobę odpowiadającą za objęty zmianą system. Zacznijmy od ustalenia, czy obie akceptują ten sam zakres działania i ten sam sposób odtworzenia. Rozbieżność wpiszmy do decyzji jako sprawę do wyjaśnienia przed nadaniem uprawnień. Jeżeli przyjęte granice okażą się zbyt szerokie, zaproponujmy mniejszy zakres i oceńmy go ponownie według tych samych kryteriów. Każdą zgodę powiążmy z opisem konkretnej automatyzacji, aby przy późniejszym rozszerzaniu uprawnień było jasne, co wymaga ponownej oceny.

Co z tym zrobić w poniedziałek

  1. W 30 minut opisz jedną planowaną automatyzację według kryteriów NCSC: siły działania, zakresu, krytyczności, pewności wdrożenia i możliwości odtworzenia. Wpisz „nieustalone” tam, gdzie brakuje danych.
  2. W 30 minut porównaj planowane uprawnienia z istniejącą zgodą organizacyjną. Zapisz rozbieżności i wskaż rolę odpowiedzialną za zaakceptowanie skutków. Brak ustalonej odpowiedzialności oznacz jako sprawę do rozstrzygnięcia.
  3. W 30 minut przejrzyj dostępne wyniki testów i opis wycofania zmiany. Wypisz brakujące dowody, osobę odpowiedzialną za odtworzenie oraz pytania wymagające odpowiedzi przed uruchomieniem.

Autonomię AI w obronie uzależnijmy od jawnej decyzji o dopuszczalnych skutkach. Granice uprawnień, odpowiedzialność i możliwość cofnięcia zmiany wpiszmy do warunków uruchomienia. Jeżeli tych warunków nie potrafimy opisać, ograniczmy planowaną autonomię do czasu ich ustalenia.

Źródła

Redakcja cyberinsight.pl.