Ar jūsų kitas DI asistentas veiks trijuose senuose kompiuteriuose jūsų svečių kambaryje?

Ar turite seną žaidimų nešiojamąjį kompiuterį, dulkantį stalčiuje, kol jūsų dabartinis kompiuteris vargsta bandydamas paleisti naujausius vietinius DI modelius? Dauguma vartotojų į aparatinę įrangą žiūri kaip į vienkartines kopėčias, kur kiekviena nauja pakopa ankstesnę paverčia pasenusia. „Nvidia“ dabar nori, kad į tas senas mašinas žiūrėtumėte kaip į vieningos komandos dalį. Bendrovė neseniai išleido savo asmeninio DI maršrutizatoriaus (angl. Personal AI Router), žinomo kaip PAIR, beta versiją. Ši programinė įranga sujungia kelis vietinio tinklo kompiuterius, kad jie galėtų dalytis sunkiomis dirbtinio intelekto užduotimis.

Techniškai tai yra žingsnis decentralizuotų skaičiavimų link paprastam žmogui. Metų metus galingo didžiojo kalbos modelio paleidimas namuose reikalavo vienos brangios vaizdo plokštės su didžiuliu vaizdo atminties kiekiu. Jei modelis buvo per didelis jūsų plokštei, jis tiesiog neveikė. PAIR keičia šią matematiką, leisdama vartotojui paskirstyti tą darbo krūvį keliems skirtingiems įrenginiams. Ji veikia kaip duomenų srauto reguliuotojas. Ji vienu metu siunčia DI užklausos dalis į jūsų stalinį kompiuterį, seną nešiojamąjį kompiuterį ir net tam tikrus „Mac“ įrenginius. Toks požiūris pavienių įrankių rinkinį paverčia savotišku privačiu debesiu.

Kaip skaitmeninis srauto reguliuotojas valdo jūsų aparatinę įrangą

Žvelgiant giliau, PAIR veikia kitaip nei tradiciniai serverių klasteriai. Profesionaliame duomenų centre inžinieriai dažnai sujungia GPU kartu, kad sukurtų vieną milžinišką virtualų atminties fondą. „Nvidia“ pabrėžia, kad PAIR to nedaro. Ji nepaverčia jūsų trijų atskirų kompiuterių vienu milžinišku virtualiu GPU. Vietoj to, ji veikia lygiagretaus apdorojimo principu. Kai prašote DI apibendrinti ilgą dokumentą arba sugeneruoti kodą, PAIR suskaido tą užduotį į mažesnes dalis. Ji nukreipia tas dalis į jūsų tinkle esančius procesorius, surenka rezultatus ir pateikia juos vienoje sąsajoje.

Praktiškai tai reiškia, kad jums nereikia identiškos aparatinės įrangos, kad pajustumėte naudą. Programinė įranga palaiko „Windows“, „macOS“ ir „Linux“. Galite susieti aukščiausios klasės stalinį kompiuterį su RTX 50 serijos plokšte, senesnį RTX 30 serijos nešiojamąjį kompiuterį ir „Mac Mini“. Sistema atpažįsta specifines kiekvieno įrenginio stiprybes. Sunkiausią darbą ji skiria greitesnei plokštei, o senesnė mašina tvarko mažesnes papildomas užduotis. Tokia sąranka DI paverčia nepavargstančiu praktikantu, kuris naudoja visus biure esančius įrankius, kad darbas būtų atliktas greičiau.

Žvelgiant į platesnį vaizdą, ši programinė įranga išsprendžia VRAM trūkumo problemą. VRAM, arba vaizdo operatyvioji atmintis, yra skaitmeninė darbo erdvė, kurioje DI modeliai „gyvena“ darbo metu. Jei modeliui reikia 24 gigabaitų vietos, o jūsų plokštė turi tik 12, modelis neveiks. Nukreipdama užduotis per kelias mašinas, PAIR leidžia vartotojams paleisti sudėtingesnius modelius, kurie paprastai „nulaužtų“ vieną namų kompiuterį. Bendra jūsų tinklo talpa tampa nauja riba tam, ką galite pasiekti lokaliai.

Persikėlimas iš debesies į svetainę

Privatumas yra pagrindinė šio pokyčio priežastis. Dauguma žmonių šiuo metu DI naudojasi per interneto naršykles, o tai reiškia, kad jų duomenys keliauja į įmonės serverį. Bendrovės naudoja tuos duomenis būsimiems modeliams mokyti arba vartotojų elgsenai sekti. PAIR viską saugo už jūsų namų maršrutizatoriaus. Duomenys niekada nepalieka jūsų vietinio tinklo. Smulkiojo verslo savininkui ar rašytojui, dirbančiam su jautriu rankraščiu, tai sukuria saugų burbulą. Gaunate šiuolaikinio DI greitį be duomenų nutekėjimo rizikos ar paslaugų teikėjo sąlygų pasikeitimo grėsmės.

Vartotojo požiūriu, tai taip pat keičia senos aparatinės įrangos vertę. Trejų metų senumo nešiojamųjų kompiuterių perpardavimo rinka dažnai nuvilia. Tačiau tokio nešiojamojo kompiuterio, kaip specializuoto DI mazgo, vertė yra gana didelė. Užuot pardavę seną įrenginį už dalį pradinės kainos, galite jį įjungti į elektros lizdą spintoje ir leisti jam prisidėti prie jūsų namų DI klasterio. Tai prailgina elektronikos tarnavimo laiką ir sulėtina nuolatinio atnaujinimo ciklą.

Paslėptos vietinių DI klasterių išlaidos

Šis decentralizuotas požiūris turi praktinių kompromisų. Nors programinė įranga yra nemokama, elektra kainuoja. Trijų kompiuterių veikimas pilnu pajėgumu vienai DI užklausai apdoroti sunaudoja žymiai daugiau energijos nei viena optimizuota mašina. Kitas veiksnys – šilumos išskyrimas. Trijų kompiuterių klasteris ilgų duomenų analizės sesijų metu mažą namų biurą pavers sauna. Vartotojai turi įvertinti savo elektros sąskaitos išlaidas lyginant su mėnesiniu debesijos DI paslaugų prenumeratos mokesčiu.

Kita kliūtis yra delsa (angl. latency). Kadangi duomenys turi keliauti per jūsų namų „Wi-Fi“ arba eterneto kabelius, atsiranda nedidelis vėlavimas. Šis vėlavimas paprastai matuojamas milisekundėmis, tačiau jis susideda. Viena galinga GPU visada bus greitesnė už trijų lėtesnių, sujungtų per tinklą, klasterį. PAIR yra sprendimas talpai, o ne būtinai grynam, momentiniam greičiui. Svarbiausia yra galimybė išvis paleisti modelį, o ne paleisti jį greičiausiai.

Kodėl įmonės stebi namų vartotojų įrankį

„Nvidia“ teigia, kad PAIR skirta naudoti namuose, tačiau pasekmės biurui yra akivaizdžios. Dauguma šiuolaikinių įmonių turi dešimtis nenaudojamų stalinių kompiuterių, stovinčių kabinetuose per naktį. Šios mašinos dažnai turi neblogus vidinius vaizdo lustus arba šiuolaikinius procesorius, kurie nenaudojami šešiolika valandų per parą. Įmonė teoriškai galėtų naudoti PAIR, kad sujungtų šias nenaudojamas mašinas į laikiną superkompiuterį vidiniams tyrimams.

Istoriškai įmonės tokiam darbui turėjo pirkti specializuotas serverių spintas. Tos spintos kainuoja dešimtis tūkstančių dolerių ir reikalauja specializuoto aušinimo. Esamų stalinių kompiuterių pajėgumų naudojimas yra perversmą sukeliantis būdas sumažinti patekimo į korporatyvinį DI barjerą. „Nvidia“ taip pat užsiminė, kad PAIR veikia su „DGX Spark“ staliniais superkompiuteriais. Tai rodo, kad programinė įranga yra tiltas tarp entuziastų namų sąrankų ir profesionalių pramoninių aplinkų. Tai leidžia įmonei išbandyti DI darbo eigas su pigia, esama aparatine įranga, prieš investuojant milijonus dolerių į duomenų centrą.

Esmė jūsų skaitmeniniams įpročiams

Vidutiniam vartotojui PAIR išleidimas yra signalas, kad vienišo kompiuterio era baigiasi. Judame link modulinio gyvenimo būdo, kuriame mūsų įrenginiai dirba kartu, o ne izoliuotai. Jei palėpėje turite seną kompiuterį, laikas patikrinti jo specifikacijas. Galbūt jau turite pusę superkompiuterio to net nesuvokdami.

Galiausiai ši programinė įranga priverčia keisti požiūrį į skaičiavimo galią. Turėtume nustoti žiūrėti į aparatinę įrangą kaip į vieną vienetą ir pradėti vertinti ją kaip skystą resursą. Panašiai kaip dalijatės duomenų planu keliuose šeimos telefonuose, netrukus dalinsitės savo kompiuterių mąstymo galia visame name. Kito dešimtmečio skaitmeninė nafta yra apdorojimo galia, o „Nvidia“ ką tik davė visiems būdą pasistatyti savo naftos perdirbimo gamyklą.

Praktiškai kalbant, turėtumėte pradėti nuo savo tinklo audito. Laidinis eterneto ryšys tokio tipo užduotims visada bus pranašesnis už „Wi-Fi“. Jei planuojate kurti vietinį klasterį, apsvarstykite galimybę investuoti į paprastą tinklo jungiklį. Tai užtikrins, kad duomenys tarp jūsų mašinų judėtų su kuo mažesne trintimi. Stebėkite, kaip jūsų dabartinis kompiuteris šiandien susidoroja su DI užduotimis. Jei pastebite dažnus sulėtėjimus arba atminties trūkumo klaidas, antros, senesnės mašinos pridėjimas prie bendros sistemos per PAIR gali būti ekonomiškiausias atnaujinimas, kokį tik galite atlikti.

Šaltiniai: Nvidia Technical Documentation, RTX AI User Guide, DGX Spark Product Specifications.