Vidinis saugos jungiklis, kuris nutraukia autonominę kibernetinę ataką

Praėjusią savaitę vėlai vakare peržiūrėjau „red team“ pratybų, nukreiptų prieš privačią LLM (didelio kalbos modelio) diegtį, žurnalus. Užpuolikas panaudojo sudėtingą užklausų injekcijų (angl. prompt injection) grandinę, kad apeitų standartinius įvesties filtrus. Tai buvo vadovėlinis architektūrinio paradokso atvejis. Organizacija išleido turtus perimetro apsaugai ir duomenų praradimo prevencijos priemonėms, tačiau visa sistema sugriuvo, nes modelis buvo „per daug paslaugus“. Tai yra dabartinio grėsmių kraštovaizdžio realybė. Mes diegiame autonominius agentus su raktais nuo mūsų skaitmeninių karalysčių ir matome, kad tradicinės ugniasienės dažnai tampa nebereikšmingos.

Naujas Londono saugumo įmonės „Tracebit“ požiūris rodo, kad veiksmingiausia gynyba prieš AI užpuoliką yra pats AI. Ši technika remiasi paprastu pastebėjimu. Kiekvienas pagrindinis AI modelis turi griežtai užkoduotų taisyklių rinkinį, neleidžiantį jam diskutuoti tam tikromis temomis. Jei priverčiate AI hakerį skaityti uždraustą temą, jis sustoja. Tai yra „kontekstinė bomba“ (angl. context bomb).

Aštuonių minučių įspėjimo spraga

Norėdami suprasti, kodėl tai svarbu, turime pažvelgti į tai, kaip greitai juda automatizuota ataka. Gegužės mėnesį „Tracebit“ paskelbė tyrimą, kuriame dalyvavo dešimt pirmaujančių AI modelių. Tyrėjai šiems modeliams pateikė netikrą įmonės tinklą ir liepė į jį įsilaužti. Tinkle buvo tikrų pažeidžiamumų ir apgaulingų prisijungimo duomenų, vadinamų „kanarėlėmis“ (angl. canaries). Šios „kanarėlės“ yra standartinis saugumo įrankis. Kai hakeris paliečia „kanarėlę“, sistema sugeneruoja įspėjimą.

„Kanarėlės“ suveikė. Jos įspėjo gynėjus 95,9 % atakų atvejų. Tačiau duomenys atskleidė didelę problemą, susijusią su reakcijos laiku. Mediana tarp „kanarėlės“ įspėjimo ir laiko, per kurį AI gavo administratoriaus prieigą, buvo aštuonios minutės. Žmonių vykdomų įsilaužimų pasaulyje aštuonios minutės yra dovana. Prieš mašiną, veikiančią šviesos greičiu, aštuonios minutės yra tik paklaida. Saugumo operacijų centro analitikas per tokį laiką vos spėja atidaryti bilietą ir patikrinti įspėjimo šaltinį. Kol įsikiša žmogus, AI jau būna eksfiltravęs duomenis arba įsitvirtinęs sistemoje.

Užklausų injekcijos panaudojimas prieš užpuoliką

Užklausų injekcija paprastai yra piktavalių ginklas. Ji apima instrukcijų paslėpimą duomenyse, kad AI vykdytų tas instrukcijas, o ne savo pradinį programavimą. Galite paslėpti komandą gyvenimo aprašyme, kuri nurodo automatizuotam atrankos įrankiui ignoruoti visus kitus kandidatus. „Tracebit“ nusprendė tą patį mechanizmą panaudoti gynybai. Jie paslėpė trumpas teksto ištraukas netikrose paslaptyse ir duomenų bazių įrašuose. Šios teksto ištraukos sukurtos taip, kad stumtų AI užpuoliką link temos, kurią draudžia jo paties saugos taisyklės.

Tai yra tipiškos galios dinamikos AI saugume apvertimas. Paprastai kūrėjai stengiasi neleisti hakeriams apgauti AI, kad šis elgtųsi blogai. Ši technika apgauna AI, kad šis būtų „per daug geras“. Kai AI agentas nuskaito duomenų bazę ir aptinka teksto eilutę apie biologinį ginklą ar jautrius politinius įvykius, suveikia saugos barjerai. Modelis nustoja apdoroti duomenis. Autonominis atakos skriptas atsitrenkia į sieną, kurios negali apeiti kodu ar logika, nes apribojimas yra įdiegtas į modelio svorius ir saugos mokymus.

Rezultatai iš laboratorijos

„Tracebit“ išbandė šią teoriją su penkiais žinomais modeliais: „Opus 4.8“, „Gemini 3.1 Pro“, „GLM 5.2“, „DeepSeek 4 Pro“ ir „Kimi K2.6“. Rezultatai buvo akivaizdūs. Prieš pridedant kontekstines bombas, šie modeliai administratoriaus prieigą pasiekė 57 % bandymų. Tyrėjams paslėpus draudžiamas temas, sėkmės rodiklis nukrito iki 5 %. Įspūdingiausią rezultatą parodė „Opus 4.8“, kuris buvo pajėgiausias užpuolikas grupėje. Be kontekstinės bombos jis pasiekė administratoriaus prieigą 93 % atvejų. Su bomba jam nepavyko nė vienas bandymas.

Tai reikšmingas pokytis gynybos metrikoje. Visiškas kompromitavimas įvyksta, kai užpuolikas gauna administratoriaus prieigą ir užsitikrina ilgalaikį įsitvirtinimą. Pradiniuose testuose tai įvyko 36 % atvejų. Su kontekstinėmis bombomis tai nutiko tik 1 % atvejų. Tai suteikia gynėjui tai, ko jam labiausiai reikia: laiko. Ataka ne tik sukelia aliarmą; ji fiziškai sustabdo procesą. Aštuonių minučių langas tampa neribotu vėlavimu, nes AI atsisako tęsti užduotį, reikalaujančią skaityti draudžiamus duomenis.

Lingvistinių barjerų atsparumas

Galima būtų manyti, kad užpuolikas galėtų tiesiog perprogramuoti savo modelį, kad šis ignoruotų šiuos apribojimus. Tai įmanoma atvirojo kodo modeliams, tačiau daug sunkiau verslo lygio sistemoms, kurias naudoja dauguma organizacijų. Saugos svirtys tokiuose modeliuose kaip „Claude“ ar „Gemini“ nėra paprastos klaidos. Tai sąmoningi dizaino pasirinkimai. Kūrėjai išleidžia milijonus dolerių mokymui su žmogaus grįžtamuoju ryšiu (angl. Reinforcement Learning from Human Feedback), kad užtikrintų, jog šie modeliai negeneruotų žalingo turinio. Šių apribojimų pašalinimas dažnai reikalauja pilno modelio perprogramavimo, o tai yra didžiulis techninis ir finansinis kliūtis.

Be to, daugelis šių apribojimų yra privalomi dėl reguliavimo priežasčių. Kinijoje sukurtas AI modelis privalo ignoruoti tam tikras politines temas, kad atitiktų vietos įstatymus. Vakarų modelis privalo atsisakyti padėti kurti cheminį ginklą, kad išvengtų didžiulės atsakomybės. Tai nėra funkcijos, kurias kūrėjas gali lengvai išjungti konkrečiam vartotojui. Jos yra modelio pagrindinės tapatybės dalis. Pateikdami šias temas užpuoliko kelyje, mes naudojame paties modelio teisinius ir etinius suvaržymus kaip fizinį barjerą.

Kontekstinės bombos integravimas į saugumo strategiją

Ši technika nepakeičia tradicinio saugumo poreikio. Kontekstinė bomba yra reaktyvi priemonė. Ji veikia tik tada, kai užpuolikas jau yra tinklo viduje ir skenuoja duomenis. Štai kodėl integracija su „kanarėlių“ žetonais yra būtina. „Kanarėlė“ duoda signalą, kad įvyko įsilaužimas. Kontekstinė bomba sukuria trintį, kuri neleidžia įsilaužimui progresuoti.

Rizikos požiūriu tai puikus „gynybos gyliuose“ (angl. defense-in-depth) pavyzdys. Mes tolstame nuo idėjos apie vieną pilies griovį ir judame link sistemos, kurioje patys duomenys yra toksiški užpuolikui. Jei autonominis agentas negali skaityti jūsų duomenų nesugriūdamas, duomenys iš prigimties yra saugesni. Šis požiūris sprendžia CIA triados (vientisumo, konfidencialumo ir prieinamumo) vientisumo ir prieinamumo komponentus, užtikrinant, kad AI negalėtų manipuliuoti sistema ar pasiekti jos taip, kaip numatyta.

Mašinų greičio eros realybė

Žengiame į erą, kurioje kibernetinės atakos nebėra žmonių proto kova. Tai algoritmų kova. Šioje aplinkoje žmogaus reakcijos laikas yra silpniausia mūsų gynybos grandis. Negalime tikėtis, kad SOC komanda konkuruos su AI, kuris per kelias sekundes gali nuskaityti tūkstantį pažeidžiamumų. Mums reikia autonominės gynybos, kuri atitiktų grėsmės greitį. Kontekstinė bomba yra vienas pirmųjų tikrai mašininio greičio gynybos įrankių. Ji veikia tame pačiame sluoksnyje kaip ir ataka ir naudoja tą pačią pagrindinę technologiją jai neutralizuoti.

Mačiau daug saugumo tendencijų, kurios atsiranda ir išnyksta, tačiau ši atrodo kitokia, nes ji pripažįsta prigimtinę LLM prigimtį. Tai lingvistiniai varikliai. Juos valdo kalbos taisyklės ir jų kūrėjų saugos nuostatos. Šių nuostatų naudojimas kaip skydas yra aktyvus žingsnis link atsparesnės skaitmeninės infrastruktūros. Tai retas atvejis, kai sisteminis pažeidžiamumas — AI polinkis lengvai susipainioti dėl įvesties — tampa sisteminiu pranašumu gynėjui.

Praktiniai patarimai saugumo vadovams

Norėdamos įgyvendinti šią strategiją, organizacijos turėtų pradėti nuo jautriausių duomenų saugyklų nustatymo. Tai vietos, kuriose AI agentas labiausiai tikėtina ieškos prisijungimo duomenų ar patentuotos informacijos.

1. Išdėstykite „kanarėlių“ žetonus savo vidiniame tinkle, kad gautumėte ankstyvus įspėjimus apie neteisėtą prieigą.
2. Įterpkite „draudžiamų temų“ eilutes į savo jautrių failų ir duomenų bazių metaduomenis.
3. Pritaikykite šias eilutes konkretiems AI modeliams, kurie labiausiai tikėtina bus naudojami atakai.
4. Užtikrinkite, kad šios kontekstinės bombos būtų paslėptos taip, kad netrukdytų teisėtiems verslo procesams ar žmonėms vartotojams.
5. Audituokite savo AI diegtis, kad įsitikintumėte, jog vidiniai saugos barjerai veikia taip, kaip tikimasi.

Tai nėra galutinis AI hakerių problemos sprendimas. Katės ir pelės žaidimas tarp užpuolikų ir gynėjų tęsis atsirandant naujoms „jailbreaking“ technikoms. Tačiau šiuo metu kontekstinė bomba yra galingas įrankis, kuris išlygina žaidimo lauką. Ji priverčia mašiną sustoti ir laukti, kol žmonės ją pasivys.

Šaltiniai: NIST AI Risk Management Framework, MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems), Tracebit Research Blog.

Atsakomybės apribojimas: Šis straipsnis yra informacinio ir edukacinio pobūdžio ir nepakeičia profesionalaus kibernetinio saugumo audito ar incidentų valdymo paslaugų.