Kas teie järgmine tehisintellekti assistent töötab teie külalistetoas asuval kolmel vanal arvutil?

Kas teil on mõni vana mänguriarvuti sahtlis tolmu kogumas, samal ajal kui teie praegune arvuti näeb vaeva uusimate kohalike tehisintellekti (AI) mudelite käivitamisega? Enamik kasutajaid kohtleb riistvara kui ühekordset redelit, kus iga uus pulk muudab eelmise vananenuks. Nvidia soovib nüüd, et te kohtleksite neid vanu masinaid ühe ühtse meeskonna osana. Ettevõte väljastas hiljuti oma isikliku tehisintellekti ruuteri (Personal AI Router), tuntud kui PAIR, beetaversiooni. See tarkvara ühendab kohalikus võrgus mitu arvutit, et jagada tehisintellekti ülesannete rasket koormust.

Tehniliselt on see samm detsentraliseeritud arvutusvõimsuse suunas tavakasutaja jaoks. Aastaid nõudis võimsa suure keelemudeli (LLM) kodus käitamine ühte kallist graafikakaarti, millel on tohutu hulk videomälu. Kui mudel oli teie kaardi jaoks liiga suur, siis see lihtsalt ei käivitunud. PAIR muudab seda matemaatikat, võimaldades kasutajal jagada töökoormust mitme erineva seadme vahel. See toimib andmete liiklusreguleerijana. See saadab tehisintellekti päringu osad samaaegselt teie lauaarvutisse, vanasse sülearvutisse ja isegi teatud Mac-seadmetesse. Selline lähenemine muudab üksikute tööriistade kogumi omalaadseks privaatpilveks.

Kuidas digitaalne liiklusreguleerija teie riistvara haldab

Kapoti all toimib PAIR teisiti kui traditsioonilised serveriklastrid. Professionaalses andmekeskuses ühendavad insenerid sageli graafikaprotsessorid (GPU-d) kokku, et luua üks hiiglaslik virtuaalne mälukogum. Nvidia täpsustab, et PAIR seda ei tee. See ei muuda teie kolme eraldi arvutit üheks hiiglaslikuks virtuaalseks GPU-ks. Selle asemel töötab see paralleeltöötluse põhimõttel. Kui palute tehisintellektil pikka dokumenti kokku võtta või koodi genereerida, jagab PAIR selle ülesande väiksemateks tükkideks. See suunab need tükid teie võrgus saadaolevatele protsessoritele, kogub tulemused kokku ja esitab need ühes liideses.

Praktikas tähendab see, et kasu saamiseks ei vaja te identset riistvara. Tarkvara toetab Windowsi, macOS-i ja Linuxit. Saate ühendada RTX 50-seeria kaardiga tipptasemel lauaarvuti vanema RTX 30-seeria sülearvuti ja Mac Miniga. Süsteem tuvastab iga seadme konkreetsed tugevused. See annab raskema töö kiiremale kaardile, samal ajal kui vanem masin tegeleb väiksemate alamülesannetega. Selline seadistus muudab tehisintellekti väsimatuks praktikandiks, kes kasutab töö kiiremaks tegemiseks kõiki kontoris olevaid tööriistu.

Suurt pilti vaadates lahendab see tarkvara VRAM-i kitsaskoha. VRAM ehk videomälu on digitaalne tööruum, kus tehisintellekti mudelid töötamise ajal asuvad. Kui mudel vajab 24 gigabaiti ruumi ja teie kaardil on ainult 12, siis mudel ebaõnnestub. Suunates ülesandeid mitme masina vahel, võimaldab PAIR kasutajatel käitada keerukamaid mudeleid, mis tavaliselt ühe kodu-arvuti kokku jooksmist põhjustaksid. Teie võrgu koguvõimsusest saab uus piir sellele, mida saate kohapeal saavutada.

Pilvest elutuppa kolimine

Privaatsus on selle nihke peamine põhjus. Enamik inimesi kasutab praegu tehisintellekti veebibrauserite kaudu, mis tähendab, et nende andmed liiguvad ettevõtte serverisse. Ettevõtted kasutavad neid andmeid tulevaste mudelite treenimiseks või kasutajate käitumise jälgimiseks. PAIR hoiab kõik teie koduruuteri taga. Andmed ei lahku kunagi teie kohalikust võrgust. Väikeettevõtte omaniku või tundliku käsikirja kallal töötava kirjaniku jaoks loob see turvamulli. Saate kaasaegse tehisintellekti kiiruse ilma andmeturbemurde või teenusepakkuja teenusetingimuste muutmise riskita.

Tarbija vaatepunktist muudab see ka vana riistvara väärtuspakkumist. Kolme aasta vanuste sülearvutite järelturg on sageli pettumust valmistav. Kuid selle sülearvuti väärtus pühendatud tehisintellekti sõlmena on üsna kõrge. Selle asemel, et müüa vana seade murdosa eest selle algsest maksumusest, saate selle ühendada pistikupessa kuskil kapis ja lasta sel panustada oma kodu AI-klastrisse. See pikendab elektroonika kasulikku eluiga ja aeglustab pidevate uuenduste tsüklit.

Kohalike AI-klastrite varjatud kulud

Sellel detsentraliseeritud lähenemisviisil on praktiline kompromiss. Kuigi tarkvara on tasuta, siis elekter ei ole. Kolme arvuti täisvõimsusel käitamine ühe tehisintellekti päringu töötlemiseks tarbib oluliselt rohkem energiat kui ühe optimeeritud masina kasutamine. Soojuse teke on teine tegur. Kolme arvutiga klaster muudab väikese kodukontori pika andmeanalüüsi seansi ajal saunaks. Kasutajad peavad kaaluma oma elektriarve maksumust võrreldes pilvepõhiste AI-teenuste kuutasudega.

Viivitus on teine takistus. Kuna andmed peavad liikuma üle teie koduse Wi-Fi või Etherneti kaablite, tekib väike viivitus. Seda viivitust mõõdetakse tavaliselt millisekundites, kuid see summeerub. Üks võimas GPU on alati kiirem kui kolmest aeglasemast koosnev klaster, mis on ühendatud üle võrgu. PAIR on lahendus mahutavuse, mitte tingimata toore ja hetkelise kiiruse jaoks. Küsimus on selles, et mudelit oleks üldse võimalik käivitada, mitte selles, et see töötaks kõige kiiremini.

Miks ettevõtted jälgivad kodukasutaja tööriista

Nvidia märgib, et PAIR on mõeldud kodukasutuseks, kuid mõju kontorile on ilmne. Enamikul kaasaegsetel ettevõtetel seisavad kümned lauaarvutid öösiti tühjalt. Nendel masinatel on sageli korralikud sisemised graafikakiibid või kaasaegsed protsessorid, mis seisavad kasutuseta kuusteist tundi päevas. Ettevõte saaks teoreetiliselt kasutada PAIR-i, et ühendada need tühikäigul seisvad masinad ajutiseks superarvutiks siseuuringute jaoks.

Ajalooliselt pidid ettevõtted sellise töö jaoks ostma spetsiaalsed serveriraamid. Need raamid maksavad kümneid tuhandeid dollareid ja vajavad spetsiaalset jahutust. Olemasoleva lauaarvuti võimsuse kasutamine on murranguline viis ettevõtte tehisintellekti sisenemisbarjääri langetamiseks. Nvidia mainis ka, et PAIR töötab DGX Spark lauaarvuti-superarvutitega. See viitab sellele, et tarkvara on sild entusiastide koduste seadistuste ja professionaalsete tööstuskeskkondade vahel. See võimaldab ettevõttel testida AI-töövooge odaval olemasoleval riistvaral, enne kui nad pühenduvad mitme miljoni dollarisele andmekeskuse investeeringule.

Kokkuvõte teie digitaalsetele harjumustele

Tavakasutaja jaoks on PAIR-i väljalaskmine signaal, et üksiku arvuti ajastu on lõppemas. Me liigume modulaarse elustiili poole, kus meie seadmed töötavad koos, mitte eraldatuna. Kui teil on pööningul vana arvuti, on aeg kontrollida selle spetsifikatsioone. Te võite juba omada poolt superarvutist, ilma et te seda teaksite.

Lõppkokkuvõttes sunnib see tarkvara muutma seda, kuidas me vaatame arvutusvõimsust. Me peaksime lõpetama riistvara vaatamise kui ühtse üksuse ja hakkama seda vaatama kui voolavat ressurssi. Nii nagu te võite jagada andmesidepaketti mitme pereliikme telefoni vahel, jagate peagi oma arvutite mõtlemisvõimet üle kogu maja. Järgmise kümnendi digitaalne toornafta on töötlemisvõimsus ja Nvidia andis just kõigile viisi oma rafineerimistehase ehitamiseks.

Praktiliselt öeldes peaksite alustama oma võrgu auditeerimisest. Juhtmega Etherneti ühendus toimib seda tüüpi ülesannete puhul alati paremini kui Wi-Fi. Kui plaanite ehitada kohalikku klastrit, kaaluge investeerimist lihtsasse võrgulülitisse (switch). See tagab andmete liikumise masinate vahel võimalikult väikese hõõrdumisega. Jälgige, kuidas teie praegune arvuti tänapäeval AI-ülesannetega toime tuleb. Kui märkate sagedasi aeglustumisi või mälupuuduse vigu, võib teise, vanema masina lisamine PAIR-i kaudu olla kõige kuluefektiivsem uuendus, mida saate teha.

Allikad: Nvidia Technical Documentation, RTX AI User Guide, DGX Spark Product Specifications.