Galingiausias pasaulyje dirbtinis intelektas netrukus gali apsigyventi socialinių tinklų programėlėje

Įprastas pasakojimas technologijų pasaulyje teigia, kad pirmaujančios JAV dirbtinio intelekto laboratorijos turi neįveikiamą pranašumą prieš likusį pasaulį. Nors tokios įmonės kaip Anthropic ir OpenAI dominuoja antraštėse su savo Mythos ir GPT serijomis, „TikTok“ valdančios įmonės duomenų centruose vyksta tylus pokytis. „ByteDance“ šiuo metu moko masyvų DI modelį su 10 trilijonų parametrų. Palyginimui, ši sistema yra tris kartus didesnė už didžiausią esamą Kinijos modelį ir potencialiai didesnė už pažangiausias šiuo metu Vakaruose prieinamas sistemas.

Žvelgiant į platesnį vaizdą, šis žingsnis yra techninės nepriklausomybės deklaracija. Metų metus daugelis kylančių DI įmonių rėmėsi trumpiniu, vadinamu distiliacija (angl. distillation). Šis procesas apima aukšto našumo konkurento modelio paėmimą ir mažesnės versijos mokymą imituoti jo elgseną. Tai skaitmeninis atitikmuo mokinio, kuris nusirašo namų darbus iš geriausio moksleivio, kad gautų teigiamą pažymį. „ByteDance“ įkūrėjas Zhang Yimingas atmetė šį kelią. Neseniai jis savo tyrėjams pasakė, kad įmonė privalo siekti pasaulyje pirmaujančių galimybių per originalią plėtrą. Iš esmės „ByteDance“ kuria savo skaitmenines smegenis nuo nulio, kad užtikrintų, jog ilgainiui galės pranokti mokytojus, iš kurių kadaise mokėsi.

Dešimties trilijonų parametrų svorio supratimas

Už parametrų žargono slypi paprasta skaitmeninės atminties ir talpos sąvoka. Įsivaizduokite DI modelį kaip nepavargstantį praktikantą. Parametrai yra atskirų jungčių arba skaitmeninių sinapsių skaičius, kurį praktikantas naudoja informacijai saugoti ir dėsningumams atpažinti. 1 milijardo parametrų modelis yra tarsi paprastas skaičiuotuvas. 100 milijardų parametrų modelis yra kompetentingas tyrėjas. 10 trilijonų parametrų modelis yra biblioteka, kuri gali mąstyti.

Pramonės vertinimais, pažangiausias Anthropic modelis, Mythos 5, turi apie 8 trilijonus parametrų. Fable 5, modelis, kurį šiandien naudoja daugelis profesionalių programuotojų, turi apie 5 trilijonus. „ByteDance“ siekia 10 trilijonų. Nors vien tik dydis nėra vienintelis veiksnys, nulemiantis DI intelektą, jis nustato pagrindinę ribą tam, ko mašina gali išmokti. Didesnis modelis turi aukštesnes lubas samprotavimui, sudėtingam programavimui ir žmogaus kalbos niuansų supratimui skirtingose kultūrose.

Tokiam mastui reikalinga milžiniška fizinė infrastruktūra. „ByteDance“ trejus metus agresyviai kūrė savo duomenų centrų tinklą. Įmonė valdo debesijos padalinį „Volcano Engine“, kuris veikia kaip nematomas šių DI ambicijų stuburas. Šis padalinys ne tik talpina modelį; jis suteikia specializuotą skaičiavimo galią, reikalingą apdoroti duomenų kalnus, kurių reikalauja 10 trilijonų parametrų sistema. Tokio dydžio modelio mokymas paprastai trunka nuo trijų iki šešių mėnesių nepertraukiamų skaičiavimų, kol dar net neprasideda derinimo procesas.

Kodėl originalūs tyrimai yra rizikingas, bet būtinas statymas

Istoriškai greičiausias kelias į rinką buvo tobulinti tai, kas jau veikė. Pasirinkusi vengti distiliacijos, „ByteDance“ sutiko su lėtesniu kūrimo ciklu. Šis sprendimas kyla iš įsitikinimo, kad nukopijuotas modelis niekada negali būti geresnis už originalą. Jei mokote savo DI imituoti varžovo rezultatus, taip pat paveldite visas to varžovo klaidas ir šališkumą.

Po kapotu „ByteDance“ komandai vadovauja Wu Yonghui, buvęs Google DeepMind mokslininkas. Jo 2000 narių komandoje yra infrastruktūros inžinierių ir duomenų žymėjimo specialistų, pasklidusių po visą pasaulį. Kurdami savo architektūrą, jie kuria sistemą, pritaikytą specifiniams „ByteDance“ valdomiems duomenų tipams. Tai apima milžinišką vaizdo turinio kiekį iš „TikTok“ ir didelės apimties pokalbių duomenis iš „Doubao“ – pagrindinio įmonės DI asistento Kinijoje.

Vartotojo požiūriu, šių tyrimų rezultatai jau ryškėja. „ByteDance“ SeeDance modelis šiuo metu yra vienas pažangiausių įrankių tikroviškiems vaizdo įrašams generuoti. Kol JAV konkurentus riboja saugumo draudimai arba ribota prieiga prie jų aukščiausio lygio modelių, „ByteDance“ stumia savo technologiją tiesiai į šimtų milijonų vartotojų rankas. Doubao jau turi 324 milijonus aktyvių vartotojų per mėnesį, kurie kasdien sąveikauja su DI. Didesnis, pajėgesnis modelis leis šioms sąveikoms jaustis ne kaip kalbėjimui su robotu, o labiau kaip bendradarbiavimui su žmogumi ekspertu.

Aparatinės įrangos variklis ir pasirinktinių lustų lenktynės

Aukščiausios klasės DI modeliai yra tik tokie geri, kokia gera yra silicio įranga, kurioje jie veikia. Šiuo metu pasaulinė DI lustų pasiūla yra nepastovi ir griežtai reguliuojama. „ByteDance“ į tai reagavo bandydama sukurti savo pasirinktinius DI lustus. Ši strategija atkartoja tai, ką Apple ir Google padarė su savo aparatine įranga. Vienu metu projektuodama lustą ir DI modelį, įmonė gali priversti sistemą veikti daug greičiau ir naudoti mažiau elektros energijos.

Čia makroekonominė realybė pasiekia kasdienį vartotoją. DI veikimas yra neįtikėtinai brangus. Vien elektros sąnaudos 10 trilijonų parametrų modeliui yra astronominės. Jei įmonė gali sumažinti šias išlaidas naudodama specializuotą aparatinę įrangą, ji gali pasiūlyti savo DI paslaugas už mažesnę kainą arba net nemokamai. „ByteDance“ pozicionuoja save kaip pigią, aukšto našumo lyderę šioje srityje. Jie ne tik kuria išmanų modelį; jie kuria keičiamo masto intelekto gamyklą.

Priešingai, priklausomybė nuo masyvių aparatinės įrangos grupių sukuria sisteminį pažeidžiamumą. Jei pažangių lustų tiekimas bus dar labiau apribotas, net geriausia pasaulio tyrėjų komanda susidurs su sunkumais baigdama mokymo procesą. Tai sukuria lenktynes su laiku. Trijų–šešių mėnesių mokymo langas šiam naujam modeliui yra didelių statymų laikotarpis, kai viskas turi vykti tobulai. Viena aparatinės įrangos klaida arba tarptautinės prekybos politikos pokytis gali nublokšti projektą mėnesiais atgal.

Praktinės pasekmės kasdieniam vartotojui

Tai reiškia, kad DI įrankiai, kuriuos naudojate vaizdo įrašų montavimui, rašymui ar paieškai internete, netrukus taps gerokai galingesni be poreikio naujam telefonui ar kompiuteriui. Sunkiausias darbas vyksta debesyje. Kai „ByteDance“ integruos šias 10 trilijonų parametrų galimybes į savo programėles, riba tarp profesionalaus lygio turinio ir mėgėjiškos kūrybos išnyks. Paauglys su išmaniuoju telefonu turės prieigą prie tos pačios kūrybinės galios, kurią prieš dešimtmetį turėjo Holivudo studija.

Rinkos pusėje ši konkurencija verčia JAV laboratorijas diegti naujoves greičiau. Kai varžovas parodo, kad gali sukurti didesnį, nepriklausomesnį modelį, tai sugriauna aukščiausios klasės DI monopoliją. Vartotojui ši konkurencija yra grynas pozityvas. Ji lemia geresnes funkcijas, skaidresnę privatumo kontrolę ir prieinamesnes prenumeratas, įmonėms kovojant dėl jūsų dėmesio.

Galiausiai, modelio dydis yra tik skaičius, kol jis neduoda apčiuopiamų rezultatų. Tikrasis išbandymas „ByteDance“ bus tai, ar šis 10 trilijonų parametrų titanas gali išspręsti problemas, kurių mažesni modeliai negali. Nesvarbu, ar tai būtų rinkos tendencijų prognozavimas, ar sklandus tiesioginio vaizdo įrašo vertimas, DI naudingumas yra vienintelis rodiklis, kuris tikrai svarbus telefoną laikančiam žmogui.

Žvelgiant plačiau, pasaulinė DI panorama nebėra vieno žirgo lenktynės. Perėjimas prie nepriklausomos, masyvaus masto plėtros Kinijoje žymi naują technologijų istorijos skyrių. Vartotojai turėtų ruoštis skaitmeninei aplinkai, kurioje programėlės, kurias jie naudoja pramogoms, taip pat yra sudėtingiausi įrankiai jų profesiniame rinkinyje. Stebėkite savo skaitmeninius įpročius per ateinančius kelis mėnesius. Galite pastebėti, kad jūsų mėgstama vaizdo įrašų programėlė stebėtinai geriau supranta, ko tiksliai norite, dar prieš jums baigiant rašyti užklausą. Skaitmeninių titanų era jau čia.

Šaltiniai:

• Latepost Tech Analysis Report on ByteDance Internal Strategy
• The Information: ByteDance Project Seed Development Briefing
• Volcano Engine Enterprise Solutions Product Roadmap
• Moonshot AI Research Benchmarks for Kimi K3
• Industry Estimates for Anthropic Mythos and Fable Parameter Counts