Didžioji modelių vagystė: kaip „distiliavimo atakos“ kursto dirbtinio intelekto šaltąjį karą

Lenktynės dėl dirbtinio intelekto viršenybės įžengė į naują, prieštaringą etapą. Kol pasaulis stebi vis galingesnių didžiųjų kalbos modelių (LLM) išleidimą, šešėlinis karas vyksta dėl pačių duomenų, naudojamų jiems mokyti. Keletoje stulbinančių ataskaitų pirmaujančios JAV DI įmonės, įskaitant „Anthropic“, „OpenAI“ ir „Google“, apkaltino kelis žinomus Kinijos DI startuolius, kad šie, naudodami metodą, žinomą kaip „distiliavimo ataka“, aplenkia ilgus tyrimų metus ir milijardines investicijas.

Naujausio ginčo centre atsidūrė „Anthropic“, „Claude“ modelių serijos kūrėja. Bendrovė neseniai atskleidė užfiksavusi masines, koordinuotas pastangas pasisavinti jos intelektinę nuosavybę. Pasak „Anthropic“, įmonės, tarp kurių yra „DeepSeek“, „Moonshot AI“ ir „MiniMax“, tariamai panaudojo daugiau nei 24 000 suklastotų paskyrų, kad sugeneruotų daugiau nei 16 milijonų pokalbių su „Claude“. Tikslas? Panaudoti sudėtingą „Claude“ mąstymą ir logiką savo konkuruojantiems modeliams mokyti už dalį tikrosios kainos.

Kas yra distiliavimo ataka

Norint suprasti, kodėl šie kaltinimai yra tokie reikšmingi, būtina suprasti modelių distiliavimo sąvoką. Teisėtame mokslinių tyrimų kontekste distiliavimas yra įprastas metodas, kai mažesnis, efektyvesnis „mokinio“ modelis mokomas imituoti didesnio, sudėtingesnio „mokytojo“ modelio elgseną. Tai leidžia kūrėjams sukurti greitą, lengvą DI, kuris gali veikti išmaniuosiuose telefonuose ar vietinėje aparatinėje įrangoje, išlaikant didžiąją dalį masyvaus, duomenų centrų lygio modelio intelekto.

Tačiau distiliavimo ataka įvyksta tada, kai konkurentas naudoja varžovo modelio API (programų programavimo sąsają), kad be leidimo sistemingai išgautų jo žinias. Įsivaizduokite tai kaip mokinį, kuris užuot studijavęs originalius vadovėlius ir atlikęs laboratorinius darbus, tiesiog įrašo kiekvieną pasaulinio lygio profesoriaus žodį ir naudoja tuos įrašus konkuruojančiam kursui sukurti. Mokinys sutaupo kelerius metus darbo ir milijonus studijų mokesčiams, o profesoriaus originalus darbas nuvertinamas.

Kaltinimų mastas

„Anthropic“ praneštos veiklos mastas rodo itin industrializuotą operaciją. Sukurdami 24 000 atskirų paskyrų, užpuolikai tikriausiai bandė apeiti „užklausų ribojimus“ (angl. rate limits) – saugos stabdžius, kuriuos DI įmonės įdiegia siekdamos neleisti vienam vartotojui pasisavinti visų išteklių ar masiškai kopijuoti duomenų.

Paskirsčiusios 16 milijonų užklausų per šias paskyras, Kinijos įmonės tariamai surinko milžinišką aukštos kokybės „sintetinių duomenų“ rinkinį. Šie duomenys yra ypač vertingi, nes juose užfiksuota „minčių grandinės“ (angl. chain-of-thought) logika, kuria garsėja tokie modeliai kaip „Claude 3.5“ ir „Claude 4“. Tokioms įmonėms kaip „DeepSeek“ ar „Moonshot AI“ šie surinkti duomenys veikia kaip trumpiausias kelias, leidžiantis panaikinti atotrūkį tarp jų dabartinių galimybių ir pažangiausių technologijų be astronominių išlaidų originaliems atradimams.

Eskalacijos tendencija

„Anthropic“ nėra vienintelė, turinti nusiskundimų. Šio mėnesio pradžioje „OpenAI“ ir „Google“ išplatino panašius įspėjimus, pastebėjusios, kad jų nuosavybiniai modeliai buvo apklausiami pagal modelius, rodančius automatizuotą duomenų rinkimą, kurį vykdo su Kinijos technologijų sektoriumi susiję subjektai.

Ši tendencija išryškina didėjančią neviltį pasaulinėse DI lenktynėse. JAV vyriausybei griežtinant aukščiausios klasės „NVIDIA“ lustų – aparatinės įrangos, būtinos DI mokymui – eksporto kontrolę, Kinijos įmonės susiduria su „skaičiavimo galios krize“. Jei jos negali gauti aparatinės įrangos modeliams mokyti nuo nulio naudojant neapdorotus duomenis, jų vienintelis perspektyvus kelias yra „distiliuoti“ intelektą, kurį jau ištobulino JAV įmonės, turinčios lustų atsargų.

Ekonominis ir geopolitinis poveikis

Šių atakų pasekmės siekia kur kas toliau nei įmonių balansinės ataskaitos. Esame liudininkai „DI šaltojo karo“ įsitvirtinimo, kuriame intelektinė nuosavybė yra pagrindinis mūšio laukas.

JAV politikos formuotojams tai yra nacionalinio saugumo klausimas. Jei Kinijos įmonės gali sėkmingai „sutrumpinti“ kūrimo procesą, JAV šiuo metu turima lyderystė DI saugos ir galimybių srityje gali išgaruoti. Tai paskatino raginimus įvesti griežtesnius „Pažink savo klientą“ (KYC) reikalavimus DI API teikėjams, faktiškai prilyginant prieigą prie galingo LLM banko sąskaitos patikros lygiui.

Kaip pramonė kovoja su tuo

DI laboratorijos nebesikoncentruoja tik į tai, kaip padaryti savo modelius protingesnius; jos siekia, kad juos būtų sunkiau pavogti. Šiuo metu diegiamos kelios apsaugos strategijos:

• Elgsenos identifikavimas: Įmonės naudoja DI, kad stebėtų API srautą ir ieškotų „nežmogiškų“ dėsningumų. Jei paskyra iš eilės pateikia tūkstančius sudėtingų loginių galvosūkių, ji pažymima kaip potencialus botas.
• Vandens ženklai: Kai kurie tyrėjai eksperimentuoja su „minkštaisiais vandens ženklais“ modelių rezultatuose. Tai apima subtilų žodžių pasirinkimo įtakojimą taip, kad tai būtų nematoma žmonėms, bet vėliau galėtų būti aptikta algoritmo, įrodant, kad konkretus duomenų rinkinys buvo sugeneruotas konkretaus modelio.
• Agresyvus užklausų ribojimas: Mažinamas užklausų skaičius, kurį gali atlikti nauja paskyra, kol ji neįrodo teisėto naudojimo istorijos.

Praktinės įžvalgos technologijų pramonei

DI aplinkai tampant vis labiau gynybiškai ir teisiškai ginčytinai, kūrėjai ir įmonės turėtų ruoštis griežtesnei aplinkai.

1. Tikėkitės griežtesnės API prieigos: Jei kuriate produktus naudodami „Claude“ ar „GPT“, tikėkitės griežtesnio tapatybės patvirtinimo ir griežtesnių naudojimo apribojimų naujoms paskyroms.
2. Audituokite savo duomenų šaltinius: Jei naudojate atvirojo kodo modelius, kurie teigia pasiekiantys „GPT-4 lygio našumą“, patikrinkite jų mokymo metodiką. Naudojant modelius, išmokytus remiantis pavogtais distiliavimo duomenimis, gali kilti teisinių komplikacijų arba „modelio kolapsas“, jei duomenys buvo prastai filtruojami.
3. Stebėkite savo intelektinę nuosavybę: Jei jūsų įmonė kuria nuosavybinius algoritmus, užtikrinkite, kad jūsų API prieigos taškai turėtų patikimą stebėjimą, siekiant užkirsti kelią panašiems bandymams kopijuoti duomenis.

Kelias į priekį

Kaltinimai „DeepSeek“, „Moonshot AI“ ir „MiniMax“ žymi esminį lūžį DI pramonėje. „Atvirų tyrimų“ era sparčiai baigiasi, nes įmonės supranta, kad jų rezultatai yra vertingiausias turtas. Nors JAV ir toliau pirmauja inovacijų srityje, pasaulinių konkurentų gebėjimas atspindėti tas inovacijas per distiliavimą išlieka rimta grėsme. DI šaltasis karas nebėra teorinė ateitis – tai dabarties realybė.

Šaltiniai

• Anthropic Official Blog: Security and Model Integrity Reports
• The New York Times: The Global Struggle for AI Supremacy
• MIT Technology Review: What is Model Distillation?
• U.S. Department of Commerce: Export Controls and Emerging Technologies
• Reuters: Chinese AI Startups and the Quest for Compute