Pamirškite ažiotažą dėl milžiniško debesijos DI — IBM nori, kad jūsų duomenys liktų namuose

Technologijų pramonė praleidžia didžiąją dalį laiko bandydama jus įtikinti, kad dirbtiniam intelektui reikalingi masyvūs, nematomi superkompiuteriai, esantys tolimoje dykumoje. Šis naratyvas teigia, kad jei norite, jog mašina galvotų, privalote nuomotis laiką serveryje, priklausančiame trilijono dolerių vertės korporacijai. Tokia sąranka verčia kiekvieną užklausą ir kiekvieną jautrų dokumentą keliauti per internetą, kur jis atsiduria svetimoje techninėje įrangoje. IBM pasirinko kitą kelią, išleisdama „Granite 4.2“ šeimą. Šie modeliai negyvena privalomame debesyje; jie gyvena jūsų techninėje įrangoje.

„Granite 4.2“ reiškia posūkį link vietinio, nuspėjamo skaičiavimo verslui ir kūrėjams, kurie pavargo nuo svyruojančių API kainų ir privatumo rizikų. Išleisdama juos kaip atviro svorio (angl. open-weight) modelius, IBM leidžia vartotojams atsisiųsti visą paketą ir paleisti jį savo serveriuose ar net aukščiausios klasės darbo stotyse. Toks požiūris į DI žiūri ne kaip į paslaptingą orakulą, o labiau kaip į nenuilstantį praktikantą, kuris dirba išskirtinai jūsų biuro sienose.

Susipažinkite su „Granite 4.2“ šeima

Naująjį leidimą sudaro trys skirtingi dydžiai: 3B, 8B ir 30B parametrų. Didžiųjų kalbos modelių pasaulyje parametrų skaičius paprastai nurodo skaitmeninių smegenų sudėtingumą. 3B modelis yra pakankamai mažas, kad veiktų šiuolaikiniame nešiojamajame kompiuteryje tinkamu greičiu. 8B modelis šiuo metu yra „aukso vidurys“ daugumai kūrėjų, užtikrinantis pusiausvyrą tarp intelekto ir techninės įrangos reikalavimų. 30B modelis yra sunkiaatletis, skirtas įmonių serveriams, kuriems reikia atlikti sudėtingas užduotis su dideliu tikslumu.

Kiekvienas šios linijos modelis naudoja tik dekoderio (angl. decoder-only) architektūrą. Tai standartinis dizaino pasirinkimas, sutelkiantis modelį į kitos sekos dalies prognozavimą – būtent taip šios sistemos generuoja tekstą. Reikšmingas 4.2 versijos papildymas yra 128 000 žetonų (angl. tokens) konteksto langas. Palyginimui, standartinis romanas yra apie 60 000–90 000 žetonų. Tokio dydžio konteksto langas leidžia modeliui perskaityti ir įsiminti visą techninį vadovą arba masyvią kodų bazę vienos sesijos metu.

Funkcinio samprotavimo realybė

IBM apibūdina „Granite 4.2“ kaip į samprotavimą orientuotą leidimą. Technologijų sektoriuje samprotavimas yra specifinis terminas, apibūdinantis modelio gebėjimą naudoti minčių grandinės (angl. chain-of-thought) apdorojimą. Tai nėra sąmonė ar tikras supratimas. Vietoj to, modelis suskaido sudėtingą problemą į tarpinius žingsnius ir perkelia tų žingsnių rezultatus į kitą. Šis procesas imituoja tai, kaip žmogus galėtų spręsti matematikos uždavinį, rodydamas savo sprendimo eigą ant popieriaus lapo.

Vidutiniam vartotojui šis susitelkimas į samprotavimą reiškia didesnį tikslumą logikos reikalaujančiose užduotyse. Jei paprašysite standartinio modelio suplanuoti kelionės maršrutą su penkiais prieštaringais apribojimais, jis gali ignoruoti du iš jų, kad pateiktų greitą atsakymą. Į samprotavimą orientuotas modelis, toks kaip „Granite 4.2“, labiau linkęs patikrinti kiekvieną apribojimą su kitais prieš pateikdamas galutinį atsakymą. Kompromisas yra greitis. Šie modeliai dažnai užtrunka ilgiau generuodami atsakymą, nes užkulisiuose atlieka daugiau matematinio darbo. Naudoti samprotavimo modelį yra tas pats, kas samdyti kruopštų auditorių, o ne greitakalbį pardavėją.

Agentiškos galimybės ir įrankių naudojimas

8B ir 30B variantai praėjo specializuotus mokymus, kad taptų agentiškais. Šis terminas nurodo DI gebėjimą veikti kaip agentui, kuris atlieka užduotis realiame pasaulyje. Užuot tik rašę tekstą, šie modeliai gali sąveikauti su išoriniais įrankiais. Jie gali naudotis kompiuterio terminalu, ieškoti šviežios informacijos internete arba vykdyti kodo fragmentus, kad patikrintų atsakymą.

IBM naudojo specifinį pastiprinamojo mokymosi bloką, kad išmokytų šiuos modelius efektyviai naudotis įrankiais. Nors mažiausias 3B modelis techniškai gali naudoti įrankius, jam trūksta specializuoto mokymo, kurį turi jo didesni broliai. Tai daro 8B ir 30B modelius ypač revoliucingus kūrėjams, norintiems automatizuoti pasikartojančias skaitmenines užduotis. Agentiškas modelis gali peržiūrėti skaičiuoklę, nustatyti trūkstamą duomenų tašką, surasti tuos duomenis internete ir atnaujinti failą be žmogaus įsikišimo. Šis pokytis paverčia DI iš pasyvios pokalbių sąsajos į aktyvų darbo eigos dalyvį.

Kodėl vietinis talpinimas svarbus jūsų biudžetui

Viena iš pamatinių priežasčių domėtis vietiniais modeliais yra debesijos kaina. Tokios įmonės kaip „OpenAI“ ir „Anthropic“ ima mokestį už žetoną, o tai iš esmės yra mokestis už kiekvieną žodį, kurį DI perskaito ar parašo. Mažam verslui šios išlaidos yra nepastovios ir sunkiai nuspėjamos. Jei konkrečiam projektui staiga prireikia DI pagalbos analizuojant tūkstančius dokumentų, mėnesio sąskaita gali be įspėjimo šoktelėti nuo šimtų iki tūkstančių dolerių.

Vietiniai modeliai keičia finansinę matematiką. Kai jau turite techninę įrangą ir atsisiunčiate modelį, milijono žodžių generavimo kaina yra tik elektros kaina serveriui paleisti. Šis nuspėjamumas yra pagrindinė priežastis, kodėl IBM orientuojasi į įmonių rinką. Didelės organizacijos teikia pirmenybę stabilioms, fiksuotoms išlaidoms, o ne svyruojantiems pažangiausių debesijos paslaugų teikėjų kainodaros modeliams. Mėnesio pabaigoje nebūna jokių netikėtų mokesčių, kai modelis veikia jūsų pačių silicio lustuose.

Modelio maršrutizatoriaus iškilimas

Kai tokie modeliai kaip „Granite 4.2“ tampa vis prieinamesni, kūrėjai vis dažniau naudoja modelių maršrutizatorius. Maršrutizatorius veikia kaip skaitmeninis eismo reguliuotojas. Kai vartotojas pateikia užklausą, maršrutizatorius analizuoja, kokio sudėtingumo yra užduotis. Jei vartotojas prašo paprasto apibendrinimo, maršrutizatorius siunčia užduotį mažyčiam 3B modeliui, kad sutaupytų energijos ir laiko. Jei vartotojas prašo sudėtingos architektūrinės peržiūros, maršrutizatorius siunčia ją 30B modeliui.

Šis pakopinis požiūris leidžia organizacijoms suderinti našumą ir efektyvumą. Tai apsaugo nuo nuostolių naudojant masyvų, daug energijos vartojantį modelį užduočiai, kurią mažesnis modelis gali atlikti perpus greičiau. Naudodamas „Granite“ šeimą, kūrėjas gali sukurti supaprastintą sistemą, kurioje tinkamas įrankis visada atitinka darbą. Ši tarpusavyje susijusi modelių ekosistema tampa standartu profesionaliems DI diegimams.

Privatumas ir nematomas pramonės stuburas

Daugelyje pramonės šakų debesija yra nepriimtina dėl reguliavimo reikalavimų. Sveikatos priežiūros paslaugų teikėjai, advokatų kontoros ir vyriausybės rangovai dažnai dirba su duomenimis, kurie teisiškai negali palikti jų saugių tinklų. Tokiose aplinkose vietiniai LLM yra vienintelis perspektyvus kelias į priekį. „Granite 4.2“ suteikia šiems sektoriams galimybę naudoti šiuolaikinį DI nepažeidžiant privatumo įstatymų ir neatskleidžiant komercinių paslapčių.

IBM pozicionuoja save kaip nematomą šių pramonės šakų stuburą. Jie nesivaiko skambiausių antraščių ir nebando sukurti pokalbių roboto, kuris rašo poeziją. Jų dėmesys sutelktas į nuspėjamus, keičiamo mastelio diegimus, kurie patikimai veikia korporatyviniuose duomenų centruose. Šis pragmatiškumas yra atsakas į augantį skepticizmą dėl ažiotažo aplink pažangiausius modelius, kurie dažnai yra per brangūs arba per daug neskaidrūs rimtam pramoniniam naudojimui.

Ką tai reiškia jums

Jei esate individualus kūrėjas ar technologijomis besidomintis hobistas, „Granite 4.2“ išleidimas yra signalas investuoti į vietinę techninę įrangą. Kompiuteris su aukščiausios klasės vartotojo GPU dabar gali paleisti modelius, kurie anksčiau buvo išskirtinė tyrimų laboratorijų sritis. Galite eksperimentuoti su agentiškomis darbo eigomis ir didelio masto duomenų analize nesijaudindami dėl API mokesčių už žetonus ar duomenų privatumo.

Verslo savininkui šis leidimas yra galimybė atsisakyti lėto lėšų nutekėjimo per debesijos prenumeratas. Tai leidžia kurti vidinius įrankius, kurie yra atsparūs interneto sutrikimams ir išoriniams kainų šuoliams. Užuot laukę, kol debesijos paslaugų teikėjas atnaujins savo paslaugų teikimo sąlygas, galite išlaikyti savo skaitmeninės infrastruktūros kontrolę. Esmė ta, kad DI tampa vietine komunaline paslauga, o ne nuotoliniu servisu. Stebėdami savo šiandieninius skaitmeninius įpročius galite pastebėti, kad daugelį užduočių, kurias siunčiate į debesį, pigiau ir saugiau galėtų atlikti modelis, esantis šalia jūsų.

Šaltiniai: IBM Research, Granite Model Documentation, IBM Newsroom.