Küberturvalisus

Miks privaatsed tehisintellekti juurutused on isepaljuneva pahavara järgmine peamine sihtmärk

Teadlased demonstreerivad isepaljunevat tehisintellekti ussi, mis kasutab kohalikke avatud kaaludega mudeleid, hiilides mööda traditsioonilisest turvalisusest, et levida semantiliste ületäitumiste kaudu.
Miks privaatsed tehisintellekti juurutused on isepaljuneva pahavara järgmine peamine sihtmärk

Veetsin eile õhtul kolm tundi analüüsides kohalikus tööjaamas vastandlike viipade (adversarial prompts) jada. See seadistus oli internetist lahti ühendatud ja seal töötas praeguse põlvkonna avatud kaaludega (open-weight) mudel. Eksperiment oli vaikne. Puudusid väljaminevad API-kõned kesksele pakkujale nagu OpenAI või Google, mis märgistaksid kahtlast tegevust. Täitmise piiramiseks polnud kasutuspiiranguid. Mõne minuti jooksul sundis üks sissetulev tekstifail mudelit genereerima rida sekundaarseid juhiseid. Need juhiseid olid loodud leidma süsteemist teisi faile ja sisestama neisse algse viiba koopia. See on Morris II järeltulija reaalsus. See on uss, mis elab täielikult tehisintellekti loogika sees.

Teadlased demonstreerisid hiljuti, et need isepaljunevad tehisintellekti ussid ei piirdu enam teoreetiliste valgete raamatute või pilvepõhiste keskkondadega. Nüüd tegutsevad need kohalikes avatud kaaludega mudelites. Organisatsioonid viivad oma tehisintellekti töökoormused sageli kohalikku riistvarasse, et tagada andmete privaatsus. Nad usuvad, et andmete hoidmine kohapeal on piisav kaitse. See loob arhitektuurilise paradoksi. Sama kohalik isolatsioon, mis kaitseb andmeid avaliku pilve eest, peidab pahatahtliku tehisintellekti tegevuse ka tsentraliseeritud turvaseire eest. Kui mudel on haavatav vastandliku isepaljuneva viiba suhtes, toimub rünnak usaldusväärse perimeetri sees. Turvameeskond näeb legitiimset protsessi tarbimas GPU tsükleid, samal ajal kui uss levib läbi sisemise andmebaasi.

Semantilise ületäitumise mehaanika

Traditsioonilised ussid levivad, kasutades ära mäluvigu või võrguprotokollide puudusi. Nad kasutavad puhvri ületäitumist, et käivitada koodi, mida süsteem ei olnud kunagi ette näinud käivitama. Tehisintellekti uss toimib teisiti. See kasutab semantilist ületäitumist. Selles stsenaariumis esitab ründaja viiba, mida mudel tõlgendab kõrgema järgu juhiste kogumina. Mudel ei jookse kokku. See toimib täpselt nii, nagu ette nähtud, töödeldes sisendit ja genereerides vastuse. Probleem on selles, et sisend sisaldab peidetud käsku, mis sunnib mudelit lisama seda sama käsku oma järgmisesse väljundisse. See loob tagasisideahela.

Kui tehisintellekti agendil on volitused failide lugemiseks ja kirjutamiseks, muutub ahel paljunemistsükliks. Mudel loeb mürgitatud faili, järgib peidetud juhist selle juhise kopeerimiseks ja kirjutab selle uude asukohta. Kulisside taga kasutab uss levimiseks suure keelemudeli (LLM) põhifunktsionaalsust. See kohtleb mudelit kui kompilaatorit ja täitmismootorit. Kuna juhis on kirjutatud loomulikus keeles, hiilib see mööda traditsioonilistest signatuuripõhistest viirusetõrjetööriistadest. Skanner otsib pahatahtlikke binaarfaile või skripte. See ei otsi tekstilõiku, mis palub mudelil olla abivalmis ja lisada oma järgmisesse e-kirja mustandisse konkreetne lause.

Miks avatud kaaludega mudelid muudavad ohprofiili

Pilves majutatud tehisintellekti pakkujad rakendavad turvakihte, mis püüavad pahatahtlikke viipu välja filtreerida. Need filtrid pole täiuslikud, kuid nad pakuvad reaalajas uuenevat kaitsebaasi. Kui organisatsioon laadib alla avatud kaaludega mudeli nagu Llama või Mistral, et seda oma serverites käitada, muutuvad nad ise nende turvakihtide eest vastutavaks. Paljud juurutused eemaldavad need filtrid jõudluse parandamiseks või sekundaarse modereerimismudeli viivituse vältimiseks. See jätab süsteemi avatuks otsesele viiba injektsioonile.

Riski seisukohast suurendab kohalikele mudelitele üleminek sisevõrgu ründepinda. Ründaja ei pea tehisintellektini jõudmiseks tulemüüri kompromiteerima. Nad peavad saatma vaid andmetüki, mida tehisintellekt on programmeeritud töötlema. See võib olla e-kiri, klienditoe pilet või privaatsesse teadmusbaasi üles laaditud dokument. Kui tehisintellekti agent loeb mürgitatud andmeid, hakkab uss kohalikus keskkonnas paljunema. See kasutab rünnaku järgmise iteratsiooni genereerimiseks mudeli enda kaalusid. Nende mudelite detsentraliseeritud olemus tähendab, et puudub hädaseiskamislüliti. Turvauurija ei saa helistada ühele pakkujale, et ussi infrastruktuur maha võtta. Infrastruktuur on ettevõtte enda serveririiul.

Andmed kui toksiline vara tehisintellekti agentide ajastul

Infoturbe spetsialistid peavad andmeid sageli väärtuslikuks ressursiks, mis vajab kaitset. Isepaljunevate tehisintellekti usside kontekstis muutuvad andmed toksiliseks varaks. Iga teave, mille tehisintellekti agent sisse sööb, on potentsiaalne viirusliku viiba kandja. Kui agendil on luba e-kirju kokku võtta või faile organiseerida, tegutseb see digitaalse Trooja hobusena. See toob ohu võrgu kõige tundlikumatesse piirkondadesse produktiivsuse varjus.

Konsulteerisin hiljuti ettevõtet, mis kasutas tehisintellekti agenti sisemiste Slacki kanalite jälgimiseks projektiuuenduste saamiseks. Nad andsid agendile lugemisõiguse kõikidele kanalitele ja kirjutamisõiguse tsentraalsele projektijuhtimise andmebaasile. See seadistus on tehisintellekti ussi mänguväljak. Üks sõnum avalikus kanalis võib sisaldada peidetud viipa. Agent loeb sõnumit, genereerib kokkuvõtte ja lisab teadmatult paljunemisviiba andmebaasi. Iga teine agent või kasutaja, kes selle andmebaasiga suhtleb, muutub seejärel potentsiaalseks edasikandumise vektoriks. Kogu andmeökosüsteemi terviklikkus on ohus, sest süsteem usaldab mudeli väljundit ilma kontrollita.

Võrgu perimeetri kui kaitsekraavi läbikukkumine

Aastakümneid oli võrgu perimeeter peamine kaitse. See toimis nagu lossi kaitsekraav, mis hoidis ründajad väljas, lubades samal ajal usaldusväärset liiklust sisse. Tehisintellekti ussid muudavad selle kaitsekraavi iganenuks. Nad ei sisene võrku läbi katkise värava. Neid kutsutakse sisse andmetena. Kui töötaja saab töösoovijalt elulookirjelduse, läbib fail tulemüüri, sest see on legitiimne dokument. Kui selle CV kokkuvõtmiseks kasutatakse tehisintellekti tööriista, käivitub uss GPU mälus.

Ennetavalt rääkides peab tööstus liikuma tehisintellekti interaktsioonide puhul null-usalduse (zero-trust) arhitektuuri suunas. Null-usaldus on nagu VIP-klubi turvamees iga siseukse juures. Te ei usalda kunagi viipa ja kontrollite alati väljundit. See tähendab, et LLM-i väljundit ei tohiks kunagi käsitleda usaldusväärsete andmetena. Kui mudel genereerib käsu faili kirjutamiseks või e-kirja saatmiseks, peab sekundaarne süsteem seda tegevust rangete poliitikate alusel valideerima. Kohalikud mudelid nõuavad rohkem kontrolli, mitte vähem. Kuna nad on välistele turvatarnijatele nähtamatud, peab sisemine seire olema detailsem.

Praktilised sammud kohalike tehisintellekti juurutuste turvamiseks

Kohaliku tehisintellekti pinu turvamine nõuab nihket võrguliikluse jälgimiselt semantilise kavatsuse jälgimisele. Organisatsioonid ei saa toetuda avatud kaaludega mudelite vaikimisi turvalisusele. Need mudelid on tööriistad ja nagu iga tööriista, saab neid omaniku vastu kasutada, kui need on jäetud turvamata. Tugev kaitse hõlmab mitut isolatsiooni- ja kontrollikihti.

Kaaluge järgmisi samme koheseks rakendamiseks:

  • Rakendage range väljundi puhastamine (sanitization). Kasutage eraldiseisvat, piiratud mudelit oma peamise LLM-i väljundi skannimiseks paljunemismustrite või kahtlaste juhiste suhtes enne mis tahes kirjutamistoimingu sooritamist.
  • Piirake agendi õigusi. Rakendage tehisintellekti agentidele minimaalsete õiguste printsiipi. Agent, mis teeb tekstist kokkuvõtteid, ei vaja õigust luua uusi faile või saata väliseid teateid.
  • Kasutage tundlike andmete puhul õhuvahega (air-gapped) järeldamist. Kui tehisintellekt töötleb kriitilist intellektuaalomandit, veenduge, et riistvaral puudub tee laiemasse ettevõtte võrku või internetti.
  • Auditeerige RAG-torustikku (retrieval-augmented generation). Veenduge, et välistest allikatest pärinevad andmed puhastatakse enne, kui need söödetakse mudeli kontekstiaknasse.

Vastumeetmena kasutavad mõned meeskonnad nüüd mee-märkide (honeytoken) viipu. Need on konkreetsed peidetud stringid dokumentides, mida tehisintellekt ei tohiks kunagi töödelda. Kui turvatööriist tuvastab nende stringide genereerimise LLM-i väljundis, käivitab see kohese häire. See on reaktiivne lähenemine, kuid see pakub intsidentide ajal kohtuekspertiisi jälge. Eesmärk on tuvastada paljunemine enne, kui uss küllastab sisemise andmesalve.

Autonoomse ettevõtte ründepinna ümberhindamine

Isepaljunevate tehisintellekti usside avastamine kohalikes mudelites on hoiatus. See näitab, et tehisintellekti agentide mugavusega kaasneb süsteemne risk. Me ehitame süsteeme, mis on loodud juhiseid järgima, ja oleme üllatunud, kui nad järgivad vastase antud juhiseid. See ei ole tehisintellekti läbikukkumine. See on tehisintellekti ümbritseva arhitektuuri läbikukkumine.

Turvajuhid peavad lõpetama LLM-ide kohtlemise mustade kastidena, mis lihtsalt töötavad. Need on keerukad tarkvarasüsteemid, mis nõuavad samasugust ranget testimist ja piirikontrolli nagu mis tahes muu ettevõtte rakendus. Peale paikamise on kõige tõhusam kaitse mõtteviisi muutus. Ärge usaldage viipa. Ärge usaldage mudelit. Ärge usaldage väljundit. Viige läbi oma kohalike tehisintellekti juurutuste täielik riskianalüüs täna ja auditeerige iga teie siseandmetega ühendatud agendi õigusi.

Allikad:

  • NIST AI 100-1: Artificial Intelligence Risk Management Framework
  • MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems)
  • OWASP Top 10 for Large Language Model Applications

Vastutuse välistamine: See artikkel on koostatud ainult informatiivsel ja hariduslikul eesmärgil ning see ei asenda professionaalset küberjulgeoleku auditit ega intsidentidele reageerimise teenust.

bg
bg
bg

Kohtumiseni teisel poolel.

Meie läbivalt krüpteeritud e-posti ja pilvesalvestuse lahendus pakub kõige võimsamaid vahendeid turvaliseks andmevahetuseks, tagades teie andmete turvalisuse ja privaatsuse.

/ Tasuta konto loomin