Suure keelemudeli turvamine enne järgmist käsuviiba sissepritse rünnet

Eelmisel kuul vaatasin läbi kohtuekspertiisi aruande, kus finantsteenuste ettevõte kaotas kontrolli sisese klienditeenindusroboti üle. Ettevõttel oli tipptasemel turvakihtide kogum, ometi pääses üksainus kavalalt sõnastatud lause tugipiletis mööda igast kaitsepiirdest. See on kaasaegse tehisintellekti arhitektuuriline paradoks. Me mähime need mudelid traditsioonilise turvalisuse kihtidesse, kuid me ei suuda tegeleda põhilise haavatavusega: mudel ei suuda eristada usaldamatuid andmeid usaldusväärsetest juhistest. CrowdStrike kodifitseeris selle probleemi hiljuti viieks eraldiseisvaks uueks ründevektoriks, mida iga turvaarhitekt peab mõistma.

Veetsin eile hommiku oma laboris, püüdes ühte neist tehnikatest Llama 3 lokaliseeritud versioonil korrata. Eksploidi lihtsus ongi see, mis teeb selle ohtlikuks. Riski seisukohast oleme praegu generatiivse tehisintellekti "Metsikus Läänes". CrowdStrike'i tuvastatud viis uut käsuviiba sissepritse (prompt injection) ohtu näitavad, et ründajad liiguvad kaugemale lihtsatest "ignoreeri kõiki eelmisi juhiseid" käskudest. Nad kasutavad nüüd süsteemide kompromiteerimiseks lingvistilist manipulatsiooni ja mitmeetapilist edastust.

Andmete ja juhiste piiri kokkuvarisemine

Käsuviiba sissepritse eksisteerib seetõttu, kuidas suured keelemudelid teavet töötlevad. Traditsioonilises tarkvaras hoitakse koodi ja andmeid tavaliselt eraldi mäluruumides. SQL-andmebaas ei käivita kogemata kasutaja perekonnanime käsuna, välja arvatud juhul, kui esineb konkreetne haavatavus nagu SQL-sissepritse. LLM-is asuvad arendaja juhised ja kasutaja andmed samas kontekstiaknas. Mudel kohtleb iga märki (token) sarnase kaaluga.

See eristatuse puudumine muudab võrguperimeetri iganenud lossikraaviks. Kui lubate LLM-il e-kirja lugeda, annate sellele e-kirjale sisuliselt koha klaviatuuri taga. Ründajad kasutavad seda disaini ära, peites juhised andmete sisse, mida mudel lõpuks direktiivina töötleb. CrowdStrike'i uus taksonoomia pakub kaarti selle kohta, kuidas ründajad arendavad oma meetodeid, et püsida eespool tavalisest märksõnade filtreerimisest.

Uinuvad ohud päästikuga aktiveeritavate reeglite kaudu

Esimene uus tehnika on päästikuga aktiveeritav reegli lisamine. Selles stsenaariumis ei püüa ründaja mudelit kohe murda. Selle asemel sisestavad nad uue reegli, mis näib kahjutu. Näiteks võib ründaja öelda mudelile, et see võtaks teksti kokku alati kindlas vormingus, kui näeb sõna "bluebird". Iseenesest ei ole see rikkumine. See näeb välja nagu väike kohandamine.

Ründaja võib aga seda reeglit hiljem aktiveerida, et põhjustada kummalist või pahatahtlikku käitumist. Reegel toimib uinuva agendina. Kui päästik on aktiveeritud, võib mudel suunata oma väljundi volitamata API-sse või hakata lekitama tundlikke süsteemseid käsuviipu. Kuna esialgne reegli lisamine on süütu, läbib see enamiku lihtsatest tuvastussüsteemidest. Oht jääb uinunuks, kuni konkreetsed tingimused on täidetud. Ründepinna hindamine nõuab nende peidetud "kui-siis" lausete otsimist pikaajalistest vestlusajaloost või süsteemijuhistest.

Filtri murdmine kognitiivse märgi mahasurumisega

Kognitiivne märgi mahasurumine (cognitive token suppression) on tehnilisem lähenemine turvameetmetest mööda hiilimiseks. Enamikul LLM-idel on sisseehitatud keeldumismustrid. Kui palute mudelil aidata kirjutada pahavara, on see õpetatud ütlema midagi sellist nagu "Ma ei saa seda taotlust täita". Turvameeskonnad toetuvad mudeli turvalisuse tagamisel sageli neile väljakujunenud keeldumismustritele.

Ründaja, kes kasutab kognitiivset märgi mahasurumist, nihutab mudeli lingvistilised valikud neist mustritest eemale. Nad võivad kasutada keerulisi piiranguid, mis keelavad mudelil kasutada sõnu "ei saa", "keeldun" või "poliitika". Võttes mudelilt võime öelda "ei" tavapärasel viisil, sunnib ründaja LLM-i seisundisse, kus see täidab tõenäolisemalt pahatahtliku taotluse. See on omamoodi lingvistilised käerauad. Mudel on sunnitud leidma taotluse täitmiseks tee, mis väldib selle turvaõpetust. Sellest tulenevalt turvafilter ebaõnnestub, sest mudelil pole enam juurdepääsu sõnavarale, mida ta vajab keeldumise väljendamiseks.

Kandami peitmine algoritmilise dekompositsiooni kaudu

Algoritmiline kandami dekompositsioon (algorithmic payload decomposition) on rünnak, mis tugineb mudeli võimele koostada keerulisi ideid lihtsatest osadest. Ründaja edastab sõnumi mitmes etapis. Iga etapp on eraldiseisvana vaadatuna süütu. Üks käsuviip võib paluda mudelil salvestada konkreetse märgijada. Teine käsuviip võib paluda sellel defineerida teatud funktsiooni.

Kombineerituna moodustavad need osad ühe ohtliku käsu. See on käsuviiba sissepritse digitaalne Trooja hobune. Turvatööriistad, mis skannivad üksikuid käsuviipe pahatahtliku kavatsuse leidmiseks, ei näe midagi valesti. Oht ilmneb alles arhitektuurilisel tasandil, kui mudel integreerib kõik osad. Olen näinud seda tõhusalt töötamas keskkondades, kus kontekstiaken on piisavalt suur, et hoida mitut näiliselt seostamatut interaktsiooni, mis lõpuks moodustavad täieliku ründeahela.

Eriomaste märkide sissepritse oht

Eriomaste märkide sissepritse (special token injection) on tehnika, mis on suunatud LLM-i juhtlülititele. Mudelid kasutavad eriomaseid märke mõtte lõpu või süsteemijuhise alguse tähistamiseks. Need märgid on nagu nupud piloodi armatuurlaual. Kui ründaja suudab need märgid oma sisendisse süstida, võib ta petta mudelit arvama, et kasutaja sisu on tegelikult kõrge prioriteediga süsteemidirektiiv.

See rünnak tekitab segadust, mis petab mudelit usaldamatut kasutajasisu esile tõstma. See on otsene rünnak mudeli sisemise loogika vastu. Neid juhtlüliteid võltsides saab ründaja võime kirjutada üle arendaja algsed juhised. Mudel hakkab ründajat kohtlema administraatorina. See on eriti ohtlik mudelite puhul, mis on ühendatud väliste tööriistade või andmebaasidega. Kui mudel usub, et ründaja on usaldusväärne süsteemne hääl, täidab ta toiminguid kõrgendatud õigustega.

Kasutaja petmine kontekstiandmete sissepritsega

Teadmatu kasutaja kontekstiandmete sissepritse on ehk kõige levinum oht selles uues loendis. See eksploit kasutab ära piiri usaldusväärsete andmete ja täidetavate juhiste vahel. Kasutaja on see, kes sisestab pahatahtliku juhise, kuid ta teeb seda teadmata. See juhtub siis, kui kasutaja laeb üles dokumendi, saadab edasi e-kirja või lisab veebisisu, mida tehisintellekt hiljem töötleb.

Kulisside taga on pahatahtlik juhis peidetud dokumendi või e-kirja sisse. Kasutaja kirjutatud käsuviip võib olla kahjutu, näiteks "võta see PDF kokku". PDF ise sisaldab peidetud tekstirida, mis käsib mudelil kokkuvõtet ignoreerida ja saata selle asemel kasutaja seansi märk (session token) välisesse serverisse. Kasutaja on rünnaku edastusvahend. Andmete tervikluse seisukohast on see õudusunenägu. See tähendab, et iga teabekild, mida LLM puudutab, on potentsiaalne kompromiteerimise vektor.

Vastupidava kaitsearhitektuuri ehitamine

Turvameeskonnad saavad selliste rünnakute eest kaitsta mitmel viisil. Proaktiivselt on esimene samm ohumudeldamine igas kohas, kust mudeli kontekst võib pärineda. Peate kohtlema iga sisendit kui mürgist vara. See hõlmab kasutajate üleslaaditud faile, postkastist võetud e-kirju ja siseandmebaasidest pärit andmeid.

CrowdStrike soovitab laiendada testimist, et see hõlmaks neid viit konkreetset vektorit. Punase meeskonna (red teaming) tegevus peaks keskenduma pigem liitrünnakutele kui ühe käsuviiba ebaõnnestumistele. Peate nägema, kas teie mudelit saab petta dekompositsiooni või mahasurumisega. Peale paikamise on tõeline lahendus detailne tuvastusarendus. Vajame süsteeme, mis suudavad jälgida mudeli siseolekut ja hoiatada, kui see hakkab ignoreerima oma põhijuhiseid.

LLM-i voolavate andmete suhtes tuleb rakendada nullusalduse (zero trust) põhimõtet. Mõelge sellest kui VIP-klubi turvamehest igal siseuksel. Ärge kunagi usaldage andmeid, isegi kui need pärinevad sisselogitud kasutajalt. Turvamees peab kontrollima, et sisu ei sisaldaks peidetud juhiseid, enne kui see lubatakse mudeli kontekstiaknasse. See on ainus viis ehitada vastupidav süsteem, mis suudab vastu pidada järgmise põlvkonna käsuviiba sissepritsetele.

Kohtuekspertiisi seisukohast peaksite säilitama ka üksikasjalikud logid iga interaktsiooni täieliku kontekstiakna kohta. Rikkumise korral on need logid kriitilise tähtsusega, et mõista, kuidas ründaja teie filtritest mööda pääses. Kui logite ainult lõppväljundit, jääte ilma ründeahela kõige olulisemast osast.

Peamised järeldused turvajuhtidele

• Auditeerige kontekstiallikaid: Tuvastage kõik andmesisendid, mis jõuavad teie LLM-ideni, ja kohelge neid kui usaldamatuid juhiseid.
• Testige lingvistilisi möödapääse: Kasutage punast meeskonda, et näha, kas teie mudel on haavatav kognitiivse märgi mahasurumise või algoritmilise dekompositsiooni suhtes.
• Jälgige eriomaseid märke: Rakendage filtreid, mis tuvastavad ja eemaldavad kasutaja esitatud andmetest juhtimismärgid.
• Harige kasutajaid kontekstiriskide osas: Teavitage töötajaid, et usaldamatute dokumentide kokkuvõtmine võib viia süsteemi kompromiteerimiseni.
• Rakendage tuvastusarendust: Liikuge kaugemale lihtsast märksõnade vastendamisest ja hakake otsima käitumuslikke anomaaliaid mudeli vastustes.

Tehisintellekt on võimas tööriist, kuid see on ka uut tüüpi ründepind. Mõistes neid viit uut ohtu, saate hakata ehitama kaitset, mis on sama nutikas kui mudelid, mida püüate kaitsta.

Allikad: CrowdStrike Falcon Intelligence, NIST AI Risk Management Framework, MITRE ATLAS.

Vastutuse välistamine: See artikkel on mõeldud ainult informatiivsel ja hariduslikul eesmärgil ning ei asenda professionaalset küberjulgeoleku auditit ega intsidentidele reageerimise teenust.