Lielā valodas modeļa aizsardzība pirms nākamā uzvedņu injicēšanas drošības pārkāpuma

Pagājušajā mēnesī es pārskatīju tiesu ekspertīzes ziņojumu, kurā finanšu pakalpojumu uzņēmums zaudēja kontroli pār iekšējo klientu apkalpošanas robotu. Uzņēmumam bija modernākais drošības risinājumu kopums, tomēr viens vienīgs gudri noformulēts teikums atbalsta pieteikumā obeidza visas drošības barjeras. Tas ir mūsdienu mākslīgā intelekta arhitektūras paradokss. Mēs ietinam šos modeļus tradicionālās drošības slāņos, taču nespējam novērst galveno ievainojamību: modelis nespēj nošķirt neuzticamus datus no uzticamām instrukcijām. CrowdStrike nesen klasificēja šo problēmu piecos atšķirīgos jaunos uzbrukuma vektoros, kas jāsaprot ikvienam drošības arhitektam.

Vakar rītu pavadīju savā laboratorijā, mēģinot reproducēt vienu no šīm metodēm Llama 3 lokalizētajā versijā. Ekspluatācijas vienkāršība ir tā, kas padara to bīstamu. No riska viedokļa mēs pašlaik atrodamies ģeneratīvā AI "Mežonīgajos Rietumos". Pieci jaunie uzvedņu injicēšanas (prompt injection) draudi, ko identificēja CrowdStrike, pierāda, ka uzbrucēji sniedzas tālāk par vienkāršām komandām "ignorēt visas iepriekšējās instrukcijas". Tagad viņi izmanto lingvistiskās manipulācijas un daudzpakāpju piegādi, lai kompromitētu sistēmas.

Datu un instrukciju robežas sabrukums

Uzvedņu injicēšana pastāv tāpēc, kā lielie valodas modeļi apstrādā informāciju. Tradicionālajā programmatūrā kods un dati parasti tiek glabāti atsevišķās atmiņas vietās. SQL datubāze nejauši neizpilda lietotāja uzvārdu kā komandu, ja vien nepastāv specifiska ievainojamība, piemēram, SQL injekcija. LLM gadījumā izstrādātāja instrukcijas un lietotāja dati atrodas tajā pašā konteksta logā. Modelis katru žetonu (token) uztver ar līdzīgu svaru.

Šis nošķīruma trūkums padara tīkla perimetru par novecojušu pils aizsarggrāvi. Ja ļaujat LLM lasīt e-pastu, jūs būtībā piešķirat šim e-pastam vietu pie tastatūras. Uzbrucēji izmanto šo konstrukciju, iegulstot instrukcijas datos, kurus modelis galu galā apstrādā kā direktīvu. CrowdStrike jaunā taksonomija sniedz karti tam, kā šie uzbrucēji attīsta savas metodes, lai apsteigtu pamata atslēgvārdu filtrēšanu.

Snaudošie draudi caur aktivizētājiem piesaistītiem noteikumiem

Pirmā jaunā tehnika ir noteikumu pievienošana, ko aktivizē noteikts izraisītājs (trigger). Šajā scenārijā uzbrucējs nemēģina uzreiz uzlauzt modeli. Tā vietā viņi ievieš jaunu noteikumu, kas šķiet nekaitīgs. Piemēram, uzbrucējs varētu likt modelim vienmēr apkopot tekstu noteiktā formātā, ja tas redz vārdu "bluebird". Pats par sevi tas nav pārkāpums. Tas izskatās pēc nelielas pielāgošanas.

Tomēr uzbrucējs var aktivizēt šo noteikumu vēlāk, lai izraisītu dīvainu vai ļaunprātīgu uzvedību. Noteikums darbojas kā "snaudošais aģents". Tiklīdz aktivizētājs ir iedarbināts, modelis var novirzīt savu izvadi uz neautorizētu API vai sākt nopludināt sensitīvas sistēmas uzvednes. Tā kā sākotnējā noteikuma pievienošana ir nekaitīga, tā iziet cauri lielākajai daļai pamata noteikšanas sistēmu. Draudi paliek snaudoši, līdz tiek izpildīti konkrēti nosacījumi. Uzbrukuma virsmas novērtēšanai ir nepieciešams meklēt šos slēptos "ja-tad" apgalvojumus, kas aprakti ilgtermiņa sarunu vēsturē vai sistēmas instrukcijās.

Filtra apiešana ar kognitīvo žetonu slāpēšanu

Kognitīvā žetonu slāpēšana ir tehniskāka pieeja drošības pasākumu apiešanai. Lielākajai daļai LLM ir iebūvēti atteikuma modeļi. Ja lūdzat modelim palīdzēt izveidot ļaunprogrammatūru, tas ir apmācīts teikt kaut ko līdzīgu "Es nevaru palīdzēt ar šo pieprasījumu". Drošības komandas bieži paļaujas uz šiem izveidotajiem atteikuma modeļiem, lai uzturētu modeļa drošību.

Uzbrucējs, izmantojot kognitīvo žetonu slāpēšanu, novirza modeļa lingvistisko izvēli prom no šiem modeļiem. Viņi var izmantot sarežģītus ierobežojumus, kas aizliedz modelim izmantot vārdus "nevaru", "atsakos" vai "politika". Atņemot modelim spēju pateikt "nē" ierastajā veidā, uzbrucējs piespiež LLM nonākt stāvoklī, kurā tas, visticamāk, izpildīs ļaunprātīgu pieprasījumu. Tā ir sava veida lingvistiskā rokudzelžu uzlikšana. Modelis ir spiests meklēt ceļu caur pieprasījumu, kas izvairās no tā drošības apmācības. Rezultātā drošības filtrs neizdodas, jo modelim vairs nav piekļuves vārdu krājumam, kas nepieciešams atteikuma izteikšanai.

Lietderīgās slodzes slēpšana ar algoritmisko sadalīšanu

Algoritmiskā lietderīgās slodzes sadalīšana ir uzbrukums, kas balstās uz modeļa spēju salikt sarežģītas idejas no vienkāršām daļām. Uzbrucējs piegādā ziņojumu vairākos posmos. Katrs posms, skatoties atsevišķi, ir nevainīgs. Viena uzvedne var lūgt modelim saglabāt noteiktu rakstzīmju virkni. Otra uzvedne var lūgt definēt noteiktu funkciju.

Apvienojot šos elementus, tie izveido vienu komandu, kas ir bīstama. Tas ir uzvedņu injicēšanas digitālais Trojas zirgs. Drošības rīki, kas skenē atsevišķas uzvednes, lai meklētu ļaunprātīgu nodomu, neredzēs neko nepareizu. Draudi parādās tikai arhitektūras līmenī, kad modelis integrē visas daļas. Esmu redzējis, ka tas efektīvi darbojas vidēs, kur konteksta logs ir pietiekami liels, lai saturētu vairākas šķietami nesaistītas mijiedarbības, kas galu galā veido pilnu ekspluatācijas ķēdi.

Speciālo žetonu injicēšanas risks

Speciālo žetonu injicēšana ir tehnika, kas vērsta uz LLM vadības slēdžiem. Modeļi izmanto speciālos žetonus, lai atzīmētu domas beigas vai sistēmas instrukcijas sākumu. Šie žetoni ir kā pogas pilota vadības panelī. Ja uzbrucējs var injicēt šos žetonus savā ievadē, viņš var apmānīt modeli, liekot tam domāt, ka lietotāja saturs patiesībā ir augstas prioritātes sistēmas direktīva.

Šis uzbrukums ievieš apjukumu, kas piemāna modeli, liekot tam paaugstināt neuzticama lietotāja satura statusu. Tas ir tiešs uzbrukums modeļa iekšējai loģikai. Viltojot šos vadības slēdžus, uzbrucējs iegūst iespēju pārrakstīt izstrādātāja oriģinālās instrukcijas. Modelis sāk uztvert uzbrucēju kā administratoru. Tas ir īpaši bīstami modeļiem, kas ir savienoti ar ārējiem rīkiem vai datubāzēm. Tiklīdz modelis notic, ka uzbrucējs ir uzticama sistēmas balss, tas izpildīs darbības ar paaugstinātām privilēģijām.

Lietotāja maldināšana ar konteksta datu injicēšanu

Nejauša lietotāja konteksta datu injicēšana, iespējams, ir visizplatītākie draudi šajā jaunajā sarakstā. Šī metode izmanto robežu starp uzticamiem datiem un izpildāmām instrukcijām. Lietotājs ir tas, kurš ievada ļaunprātīgo instrukciju, taču viņš to dara neapzināti. Tas notiek, kad lietotājs augšupielādē dokumentu, pārsūta e-pastu vai pievieno tīmekļa saturu, ko AI vēlāk apstrādā.

Aizkulisēs ļaunprātīgā instrukcija ir paslēpta dokumentā vai e-pastā. Lietotāja rakstītā uzvedne var būt nekaitīga, piemēram, "apkopo šo PDF". Pašā PDF failā ir paslēpta teksta rinda, kas liek modelim ignorēt kopsavilkumu un tā vietā nosūtīt lietotāja sesijas žetonu uz ārēju serveri. Lietotājs ir uzbrukuma piegādes līdzeklis. Datu integritātes ziņā tas ir murgs. Tas nozīmē, ka katra informācijas vienība, kurai LLM pieskaras, ir potenciāls kompromitēšanas vektors.

Noturīgas aizsardzības arhitektūras veidošana

Drošības komandas var aizsargāties pret šādiem uzbrukumiem vairākos veidos. Proaktīvi runājot, pirmais solis ir draudu modelēšana katrai vietai, no kuras var rasties modeļa konteksts. Katra ievade jāuztver kā toksisks aktīvs. Tas ietver lietotāju augšupielādētos failus, no iesūtnes saņemtos e-pastus un datus, kas iegūti no iekšējām datubāzēm.

CrowdStrike iesaka paplašināt testēšanu, iekļaujot šos piecus konkrētos vektorus. "Red teaming" vajadzētu koncentrēties uz saliktiem uzbrukumiem, nevis uz vienas uzvednes kļūmēm. Jums jāpārbauda, vai jūsu modeli var apmānīt ar sadalīšanu vai slāpēšanu. Atstājot malā ielāpus, reālais risinājums ir granulāra noteikšanas inženierija. Mums ir vajadzīgas sistēmas, kas spēj uzraudzīt modeļa iekšējo stāvokli un brīdināt, kad tas sāk ignorēt savas pamatinstrukcijas.

Datu plūsmai uz LLM ir jāpiemēro "Zero Trust" (nulles uzticības) princips. Domājiet par to kā par VIP kluba apsargu pie katrām iekšējām durvīm. Nekad neuzticieties datiem, pat ja tie nāk no pieteikušos lietotāja. Apsargam ir jāpārbauda, vai saturs nesatur slēptas instrukcijas, pirms tas tiek ielaists modeļa konteksta logā. Tas ir vienīgais veids, kā izveidot noturīgu sistēmu, kas spēj izturēt nākamās paaudzes uzvedņu injicēšanu.

No tiesu ekspertīzes viedokļa jums vajadzētu arī uzturēt detalizētus pilna konteksta loga žurnālus katrai mijiedarbībai. Pārkāpuma gadījumā šie žurnāli ir kritiski svarīgi, lai saprastu, kā uzbrucējs obeidza jūsu filtrus. Ja reģistrējat tikai galīgo izvadi, jūs palaižat garām vissvarīgāko uzbrukuma ķēdes daļu.

Galvenās atziņas drošības vadītājiem

• Auditējiet konteksta avotus: Identificējiet visas datu ievades, kas sasniedz jūsu LLM, un uztveriet tās kā neuzticamas instrukcijas.
• Testējiet lingvistiskās apiešanas: Izmantojiet "red teaming", lai pārbaudītu, vai jūsu modelis ir ievainojams pret kognitīvo žetonu slāpēšanu vai algoritmisko sadalīšanu.
• Uzraugiet speciālos žetonus: Ieviesiet filtrus, kas atrod un noņem vadības žetonus no lietotāju sniegtajiem datiem.
• Izglītojiet lietotājus par konteksta riskiem: Informējiet darbiniekus, ka neuzticamu dokumentu apkopošana var izraisīt sistēmas kompromitēšanu.
• Ieviesiet noteikšanas inženieriju: Dodieties tālāk par vienkāršu atslēgvārdu saskaņošanu un sāciet meklēt uzvedības anomālijas modeļa atbildēs.

AI ir spēcīgs rīks, taču tas ir arī jauna veida uzbrukuma virsma. Izprotot šos piecus jaunos draudus, jūs varat sākt veidot aizsardzību, kas ir tikpat gudra kā modeļi, kurus mēģināt aizsargāt.

Avoti: CrowdStrike Falcon Intelligence, NIST AI Risk Management Framework, MITRE ATLAS.

Atruna: Šis raksts ir paredzēts tikai informatīviem un izglītojošiem mērķiem un neaizstāj profesionālu kiberdrošības auditu vai incidentu novēršanas pakalpojumu.