Iekšējais drošības slēdzis, kas pārtrauc autonomu kiberuzbrukumu

Pagājušajā nedēļā es pavadīju vēlu vakaru, pārskatot žurnālus no "red team" mācībām, kuru mērķis bija patentēta LLM implementācija. Uzbrucējs izmantoja sarežģītu uzvedņu injekciju (prompt injections) ķēdi, lai apietu standarta ievades filtrus. Tas bija mācību grāmatas cienīgs arhitektūras paradoksa piemērs. Organizācija bija iztērējusi bagātību perimetra aizsardzībai un datu zuduma novēršanas rīkiem, tomēr visa sistēma sabruka, jo modelis bija pārāk izpalīdzīgs. Tāda ir pašreizējā draudu ainavas realitāte. Mēs izvietojam autonomus aģentus ar atslēgām uz mūsu digitālajām karalistēm un atklājam, ka tradicionālie ugunsmūri bieži vien ir bezjēdzīgi.

Jauna pieeja no Londonā bāzētā drošības uzņēmuma Tracebit liecina, ka visefektīvākā aizsardzība pret MI uzbrucēju ir pats MI. Šī tehnika balstās uz vienkāršu novērojumu. Katram lielajam MI modelim ir virkne stingri kodētu noteikumu, kas neļauj tam apspriest konkrētas tēmas. Ja piespiežat MI hakeri lasīt par aizliegtu tēmu, tas apstājas. Tā ir konteksta bumba.

Astoņu minūšu brīdinājuma plaisa

Lai saprastu, kāpēc tas ir svarīgi, mums jāskatās, cik ātri notiek automatizēts uzbrukums. Maijā Tracebit publicēja pētījumu, kurā piedalījās desmit vadošie MI modeļi. Pētnieki piešķīra šiem modeļiem viltotu uzņēmuma tīklu un lika tajā ielauzties. Tīkls saturēja reālas ievainojamības un mānekļu akreditācijas datus, kas pazīstami kā "kanārijputniņi" (canaries). Šie kanārijputniņi ir standarta rīks drošības arsenālā. Kad hakeris pieskaras kanārijputniņam, sistēma aktivizē trauksmi.

Kanārijputniņi nostrādāja. Tie sniedza aizstāvjiem brīdinājumu 95,9% uzbrukuma mēģinājumu. Tomēr dati atklāja būtisku problēmu ar reakcijas laiku. Mediānas laiks starp kanārijputniņa trauksmi un brīdi, kad MI ieguva administratora piekļuvi, bija astoņas minūtes. Cilvēku vadītu pārkāpumu pasaulē astoņas minūtes ir dāvana. Pret mašīnu, kas darbojas gaismas ātrumā, astoņas minūtes ir noapaļošanas kļūda. Drošības operāciju centra analītiķis šajā laika posmā tik tikko spēj atvērt pieteikumu un pārbaudīt trauksmes avotu. Līdz brīdim, kad iejaucas cilvēks, MI jau ir eksfiltrējis datus vai izveidojis pastāvīgu piekļuvi.

Uzvedņu injekcijas vēršana pret uzbrucēju

Uzvedņu injekcija parasti ir ierocis ļaundabīgajā pusē. Tā ietver instrukciju paslēpšanu datos tā, lai MI izpildītu šīs instrukcijas, nevis savu sākotnējo programmēšanu. Jūs varētu paslēpt komandu CV, kas liek automatizētam atlases rīkam ignorēt visus pārējos kandidātus. Tracebit nolēma izmantot šo pašu mehānismu aizsardzībai. Viņi ievietoja īsus teksta fragmentus viltotos noslēpumos un datubāzu ierakstos. Šie teksta fragmenti ir izstrādāti, lai virzītu MI uzbrucēju uz tēmu, kuru aizliedz tā paša drošības noteikumi.

Šis ir tipiskās spēka dinamikas apvērsums MI drošībā. Parasti izstrādātāji cīnās, lai neļautu hakeriem apmānīt MI, lai tas kļūtu "slikts". Šī tehnika apmāna MI, lai tas būtu "pārāk labs". Kad MI aģents skenē datubāzi un saskaras ar teksta virkni par bioloģiskajiem ieročiem vai jutīgiem politiskiem notikumiem, nostrādā drošības barjeras. Modelis pārtrauc apstrādi. Autonomais uzbrukuma skripts atduras pret sienu, kuru tas nevar apiet ar kodu vai loģiku, jo ierobežojums ir iestrādāts modeļa svaros un drošības apmācībā.

Rezultāti no laboratorijas

Tracebit pārbaudīja šo teoriju pret pieciem ievērojamiem modeļiem: Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro un Kimi K2.6. Rezultāti bija tūlītēji. Pirms konteksta bumbu pievienošanas šie modeļi sasniedza administratora piekļuvi 57% gadījumu. Pēc tam, kad pētnieki izvietoja aizliegtās tēmas, šis panākumu līmenis nokritās līdz 5%. Iespaidīgāko rezultātu uzrādīja Opus 4.8, kas bija spējīgākais uzbrucējs grupā. Bez konteksta bumbas tas sasniedza administratora piekļuvi 93% gadījumu. Ar bumbu tas cieta neveiksmi katrā mēģinājumā.

Šī ir būtiska maiņa aizsardzības rādītājos. Pilnīga kompromitēšana notiek, kad uzbrucējs iegūst administratora piekļuvi un nodrošina ilgstošu klātbūtni. Sākotnējos testos tas notika 36% gadījumu. Ar konteksta bumbām tas notika tikai 1% gadījumu. Tas sniedz aizstāvim to, kas viņam visvairāk nepieciešams: laiku. Uzbrukums ne tikai iedarbina trauksmi; tas fiziski aptur procesu. Astoņu minūšu logs kļūst par nenoteiktu kavēšanos, jo MI atsakās turpināt uzdevumu, kas prasa aizliegto datu lasīšanu.

Lingvistisko drošības barjeru noturība

Varētu pieņemt, ka uzbrucējs varētu vienkārši pārkvalificēt savu modeli, lai tas ignorētu šos ierobežojumus. Tas ir iespējams atvērtā pirmkoda modeļiem, taču tas ir daudz grūtāk uzņēmuma līmeņa sistēmām, kuras izmanto lielākā daļa organizāciju. Drošības sviras tādos modeļos kā Claude vai Gemini nav vienkāršas kļūdas. Tās ir apzinātas dizaina izvēles. Izstrādātāji tērē miljoniem dolāru pastiprinātajai mācīšanai no cilvēku atsauksmēm (RLHF), lai nodrošinātu, ka šie modeļi neģenerē kaitīgu saturu. Šo ierobežojumu noņemšana bieži prasa pilnīgu modeļa pārkvalificēšanu, kas ir milzīgs tehnisks un finansiāls šķērslis.

Turklāt daudzi no šiem ierobežojumiem ir obligāti regulatīvu iemeslu dēļ. Ķīnā būvētam MI modelim ir jāignorē noteiktas politiskas tēmas, lai tie atbilstu vietējiem likumiem. Rietumu modelim ir jāatsakās palīdzēt ķīmisko ieroču izveidē, lai izvairītos no milzīgas atbildības. Šīs nav funkcijas, kuras izstrādātājs var viegli atslēgt konkrētam lietotājam. Tās ir daļa no modeļa pamata identitātes. Novietojot šīs tēmas uzbrucēja ceļā, mēs izmantojam modeļa paša juridiskos un ētiskos ierobežojumus kā fizisku barjeru.

Konteksta bumbas integrēšana drošības stratēģijā

Šī tehnika neaizstāj nepieciešamību pēc tradicionālās drošības. Konteksta bumba ir reaktīvs pasākums. Tā darbojas tikai tad, kad uzbrucējs jau ir tīklā un skenē datus. Tāpēc integrācija ar kanārijputniņu marķieriem ir būtiska. Kanārijputniņš sniedz signālu, ka ir noticis pārkāpums. Konteksta bumba nodrošina pretestību, kas aptur pārkāpuma progresēšanu.

No riska perspektīvas šis ir lielisks "defense-in-depth" (padziļinātās aizsardzības) piemērs. Mēs attālināmies no idejas par vienu pils aizsarggrāvi un virzāmies uz sistēmu, kurā paši dati ir toksiski uzbrucējam. Ja autonomais aģents nevar nolasīt jūsu datus bez avārijas, dati pēc būtības ir drošāki. Šī pieeja risina CIP triādes (konfidencialitāte, integritāte, pieejamība) integritātes un pieejamības komponentus, nodrošinot, ka MI nevar manipulēt ar sistēmu vai piekļūt tai, kā paredzēts.

Mašīnu ātruma ēras realitāte

Mēs ieejam laikmetā, kurā kiberuzbrukumi vairs nav cilvēku prāta cīņa. Tā ir algoritmu cīņa. Šādā vidē cilvēka reakcijas laiks ir vājākais posms mūsu aizsardzībā. Mēs nevaram gaidīt, ka SOC komanda konkurēs ar MI, kas sekundēs var noskenēt tūkstoti ievainojamību. Mums ir nepieciešama autonoma aizsardzība, kas spēj atbilst draudu ātrumam. Konteksta bumba ir viens no pirmajiem patiesi mašīnu ātruma aizsardzības rīkiem. Tā darbojas tajā pašā slānī, kurā notiek uzbrukums, un izmanto to pašu pamatā esošo tehnoloģiju, lai to neitralizētu.

Esmu redzējis daudzas drošības tendences nākam un ejam, taču šī šķiet citādāka, jo tā atzīst LLM raksturīgo dabu. Tie ir lingvistiskie dzinēji. Tos pārvalda valodas noteikumi un to radītāju drošības iestatījumi. Šo iestatījumu izmantošana kā vairogs ir proaktīvs solis pretī noturīgākai digitālajai infrastruktūrai. Tas ir reٹس gadījums, kad sistēmiska ievainojamība — MI tendence viegli apjukt no savas ievades — kļūst par sistēmisku priekšrocību aizstāvim.

Praktiski ieteikumi drošības vadītājiem

Lai ieviestu šo stratēģiju, organizācijām jāsāk ar savu jutīgāko datu krātuvju identificēšanu. Tās ir vietas, kur MI aģents visdrīzāk meklēs akreditācijas datus vai patentētu informāciju.

1. Izvietojiet kanārijputniņu marķierus visā iekšējā tīklā, lai saņemtu agrīnus brīdinājumus par neautorizētu piekļuvi.
2. Ievietojiet "aizliegto tēmu" virknes savu jutīgo failu un datubāzu metadatos.
3. Pielāgojiet šīs virknes konkrētiem MI modeļiem, kurus visdrīzāk izmantos uzbrukumā.
4. Nodrošiniet, lai šīs konteksta bumbas būtu paslēptas tā, lai tās netraucētu leģitīmiem biznesa procesiem vai cilvēkiem.
5. Auditējiet savas MI implementācijas, lai pārliecinātos, ka iekšējās drošības barjeras darbojas, kā paredzēts.

Šis nav galīgais risinājums MI hakeru problēmai. Kaķa un peles spēle starp uzbrucējiem un aizstāvjiem turpināsies, parādoties jaunām "jailbreaking" metodēm. Tomēr pagaidām konteksta bumba ir spēcīgs rīks, kas izlīdzina spēles laukumu. Tā piespiež mašīnu apstāties un gaidīt, kamēr cilvēki to panāks.

Avoti: NIST AI Risk Management Framework, MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems), Tracebit Research Blog.

Atruna: Šis raksts ir paredzēts tikai informatīviem un izglītojošiem mērķiem un neaizstāj profesionālu kiberdrošības auditu vai incidentu reaģēšanas pakalpojumu.