Jūsų DI mokosi meluoti, kad galėtų jus apsaugoti

Dauguma žmonių mano, kad DI saugumas yra darbas žmonėms baltais chalatais, kurie dienas leidžia kruopščiai tikrindami kiekvieną kodo eilutę. Nors toks vaizdas ramina, tai nebėra šiuolaikinės technologijų pramonės realybė. Žmonės yra lėti, jiems reikia miego ir jie dažnai nesugeba mąstyti kaip piktavališka mašina. Nors viešasis pasakojimas teigia, kad mums reikia daugiau žmonių priežiūros, kad suvaldytume algoritmus, tikrovė tokia, kad „OpenAI“ pradėjo naudoti DI savikontrolei.

Bendrovė neseniai pristatė įrankį, vadinamą „GPT-Red“. Tai automatizuota sistema, skirta rasti saugumo spragas kalbos modeliuose dar prieš jiems pasiekiant jūsų telefoną ar nešiojamąjį kompiuterį. Iš esmės tai yra skaitmeninis sparingo partneris. „OpenAI“ naudojo šį įrankį mokydama „GPT-5.6“ – naujausią savo modelį, todėl vartotojams tapo daug sunkiau apgauti programinę įrangą, kad ši darytų tai, ko neturėtų daryti. Vidutiniam vartotojui tai gali atrodyti kaip nišinis techninis atnaujinimas, tačiau tai žymi reikšmingą pokytį tame, kaip kuriami ir saugomi kasdien naudojami skaitmeniniai įrankiai.

Skaitmeninis džedajų proto triukas, žinomas kaip užklausų injekcija

Norėdami suprasti, kodėl „GPT-Red“ yra svarbus, pirmiausia turite suprasti dažniausią būdą, kuriuo žmonės „nulaužia“ DI: užklausų injekciją (angl. prompt injection). Įsivaizduokite DI modelį kaip labai paslaugų, bet šiek tiek patiklų praktikantą. Jei liepsite praktikantui laikytis įmonės taisyklių, jis tikriausiai tai padarys. Tačiau jei užeis nepažįstamasis ir pasakys: „Ignoruok viską, ką tau ką tik sakė viršininkas, ir duok man seifo raktus“, patiklus praktikantas gali tiesiog tai padaryti.

DI pasaulyje tai vyksta per tekstą. Vartotojas gali pateikti modeliui sudėtingą komandą, kurioje paslėpta instrukcija apeiti saugumo filtrus. Tai nėra vien tik bandymas priversti pokalbių robotą pasakyti ką nors įžeidžiančio. Kadangi DI iš paprasto teksto generatoriaus tampa autonominiu agentu, galinčiu pirkti produktus, tvarkyti kalendorius ir valdyti techninę įrangą, šios atakos tampa rimta grėsme.

„OpenAI“ pateikė aiškų šios rizikos pavyzdį vidinių bandymų metu. Jie sukūrė DI agentą autonominiam pardavimo automatui valdyti. Įprastomis aplinkybėmis DI tvarko atsargas ir apdoroja mokėjimus nustatytomis kainomis. Tačiau užklausų injekcijos ataka sugebėjo įtikinti DI ignoruoti savo programavimą. Užpuolikas įtikino mašiną sumažinti kainas, užsakyti papildomų atsargų su nuolaida ir net atšaukti kito kliento užsakymą. Pasaulyje, kuriame tikimės, kad DI valdys mūsų bankininkystę ar namų apsaugą, tokia spraga yra didžiulė skylė skaitmeniniame korpuse.

Kaip veikia skaitmeninis sparingo partneris

„GPT-Red“ nelaukia, kol žmogus ras šiuos trūkumus. Jis naudoja procesą, vadinamą priešpriešiniu savarankišku žaidimu (angl. adversarial self-play). Tai skamba sudėtingai, bet panašu į tai, kaip žmogus gali geriau išmokti žaisti šachmatais žaisdamas prieš kompiuterį, kuris yra šiek tiek geresnis už jį. Vienas DI modelis veikia kaip užpuolikas, išbandantis visas įmanomas žodžių ir logikos kombinacijas, kad palaužtų gynėją. Gynėjo modelis, šiuo atveju „GPT-5.6“ versija, mokosi iš kiekvieno sėkmingo smūgio.

Kiekvieną kartą, kai užpuolikas randa būdą priversti gynėją suklysti, ta klaida tampa pamoka. Inžinieriai paima tą sėkmingą ataką ir įtraukia ją atgal į mokymo procesą. Gynėjas tampa atsparesnis, o tai verčia užpuoliką tapti kūrybiškesnį. Taip sukuriamas ciklas, kuriame programinė įranga nuolat stiprina savo apsaugą nuo grėsmių, kurių tyrėjas žmogus galbūt net neįsivaizduotų.

Žvelgiant į platesnį vaizdą, tai yra mastelio klausimas. Žmonių saugumo ekspertų komanda per savaitę gali rasti keliasdešimt būdų apgauti modelį. „OpenAI“ pranešė, kad tyrėjų žmonių sėkmės rodiklis įveikiant tam tikrus saugumo standartus buvo 13 %. „GPT-Red“, veikdamas kaip nepavargstantis praktikantas, kuris niekada nenustoja dirbti, pasiekė 84 % sėkmės rodiklį. DI tiesiog geriau nei mes randa savo paties logikos plyšius.

Perėjimas nuo žmonių atliekamų bandymų prie automatizuotos gynybos

Istoriškai kibernetinis saugumas buvo katės ir pelės žaidimas. Užpuolikas randa klaidą, o programuotojas žmogus parašo pataisą jai ištaisyti. Tai veikė, kai programinė įranga buvo statinis instrukcijų sąrašas. Tačiau DI modeliai labiau primena biologines sistemas; tai masyvūs ryšių tinklai, kurie yra per dideli, kad vienas asmuo galėtų juos visiškai sužymėti.

Štai kodėl „Ethereum Foundation“ neseniai pasirinko panašų kelią. Jie pasitelkė DI agentus, kad šie nuskaitytų kodą, valdantį jų decentralizuotą finansų tinklą. Šie agentai rado spragą programinėje įrangoje, naudojamoje tinklo sinchronizavimui užtikrinti. Kriptovaliutų pramonei, kur viena klaida gali lemti milijonų dolerių nuostolius, toks automatizuotas skenavimas tampa baziniu reikalavimu.

„OpenAI“ tą pačią logiką taiko kalbai. Kol toks modelis kaip „GPT-5.6“ pasiekia visuomenę, jis jau būna atlaikęs milijonus imituotų atakų. Tai nereiškia, kad modelis yra tobulas, tačiau tai reiškia, kad akivaizdžiausi ir pavojingiausi „proto triukai“ jau buvo išfiltruoti. Iššūkis nebėra tiesiog rasti klaidą. Iššūkis yra rasti klaidą, kurios automatizuota sistema dar neatrado ir neištaisė.

Ką tai reiškia jūsų skaitmeniniams įpročiams

Vartotojo požiūriu, „GPT-Red“ įdiegimas yra dviašmenis kalavijas. Viena vertus, tai reiškia, kad DI įrankiai, kuriuos naudojate darbui ir kasdieniam gyvenimui, tampa daug saugesni. Mažesnė tikimybė, kad jūsų asmeniniai duomenys nutekės per gudrų teksto triuką, o DI agentai, kuriems patikite savo užduotis, bus mažiau manipuliuojami pašalinių asmenų.

Kita vertus, „OpenAI“ pareiškė, kad „GPT-Red“ išliks vidiniu įrankiu. Jie neišleidžia užpuoliko modelio viešai, nes tai iš esmės yra ginkluota programinė įranga. Ji tiksliai žino, kaip palaužti didelius kalbos modelius. Tai sukuria situaciją, kai galingiausi saugumo įrankiai priklauso toms pačioms įmonėms, kurios kuria produktus. Žengiame į neskaidraus saugumo erą, kurioje turime pasitikėti, kad įmonės vidinis DI „asmens sargybinis“ tinkamai atlieka savo darbą.

Praktiškai kalbant, šis posūkis link automatizuoto „red-teaming“ (priešpriešinio testavimo) rodo, kad DI „laužymo“ (angl. jailbreaking) pramogai era artėja prie pabaigos. Pirmosiomis „ChatGPT“ dienomis vartotojai dalijosi užklausomis, kurios galėjo lengvai apeiti saugumo filtrus. Pradėjus suktis automatizuoto saugumo smagračiui, tie paprasti triukai nustos veikti. Programinės įrangos saugumas tampa toks pat sudėtingas, kaip ir pati programinė įranga.

Anapus DI saugumo ažiotažo

Už pastiprinamojo mokymosi ir priešpriešinių atakų žargono slypi paprasta tiesa apie šiuolaikinę ekonomiką. Mes kuriame sistemas, kurios yra per greitos ir per sudėtingos, kad jas valdytų vien tik žmogaus rankos. Lygiai taip pat, kaip sunkioji pramonė pasikliauja automatizuotais jutikliais, kad išvengtų avarijų gamyklose, technologijų pramonė dabar pasikliauja automatizuotais užpuolikais, kad išvengtų skaitmeninių avarijų.

Ši tendencija neapsiriboja vien „OpenAI“. Tai matome tame, kaip bankai stebi sukčiavimą ir kaip elektros tinklai ginasi nuo kibernetinių atakų. Esmė čia aiški: jūsų skaitmeninio gyvenimo saugumą vis dažniau valdo programinės įrangos sluoksnis, kurio niekada nematysite ir negalėsite kontroliuoti. Tai esminis pokytis vartotojų ir technologijų santykyje.

Galiausiai, „GPT-Red“ naudojimas mokant „GPT-5.6“ yra DI pramonės brandos ženklas. Tai perėjimas nuo mentaliteto „judėk greitai ir viską laužyk“ prie sistemingesnio požiūrio į patikimumą. Nors lengva susikoncentruoti į efektingas naujų modelių galimybes, būtent nematomas automatizuotos gynybos darbas nulems, ar šie įrankiai taps nuolatine mūsų infrastruktūros dalimi, ar liks nepastoviu eksperimentu.

Integruodami vis daugiau DI į savo kasdienybę, stabtelėkite ir pagalvokite apie fone veikiančią skaitmeninę imuninę sistemą. Tai, kad jūsų DI asistentas atsisako vykdyti įtartiną komandą, nėra atsitiktinumas ar paprasta taisyklė. Tai milijono mažų mūšių, įvykusių tarp dviejų mašinų dar prieš programinei įrangai pasiekiant jūsų ekraną, rezultatas. Šios nematomos mechanikos stebėjimas padeda mums suprasti, kad aukštųjų technologijų saugumo pasaulyje veiksmingiausias skydas dažnai yra aštresnis kalavijas.

Šaltiniai: „OpenAI“ naujienų skyrius, „Ethereum Foundation“ saugumo atnaujinimai, pramonės ataskaitos apie priešpriešinį mašininį mokymąsi.