L'elegante telaio nero posizionato sul palco dell'Internationale Funkausstellung di Berlino sembra una normale workstation di fascia alta. Tuttavia, questa macchina, denominata Threadripper Halo Station, è una densa collezione dei materiali più costosi e rari nel mondo della tecnologia moderna. Il Senior Vice President di AMD, Jack Huynh, ha presentato il dispositivo come un supercomputer personale, un'etichetta che sposta la definizione di ciò che una macchina desktop può fare. Inserendo componenti solitamente riservati a enormi server farm in un unico case, AMD sta tentando di cambiare il modo in cui le aziende acquistano e utilizzano l'intelligenza artificiale.
Per capire perché un singolo computer possa costare più di una berlina di lusso, è necessario risalire ai materiali fino al wafer di silicio. Sotto il cofano, la Halo Station dispone di due acceleratori per data center MI350P. Queste non sono schede grafiche standard per il gaming. Sono processori specializzati progettati per elaborare i pesi matematici dei modelli linguistici di grandi dimensioni. Questi chip sono il petrolio greggio digitale dell'economia attuale. Richiedono processi di produzione avanzati che poche fabbriche al mondo possono fornire. Quando si aggiungono i 96 core di un processore Threadripper Pro, la macchina ha una potenza matematica grezza sufficiente per simulare una fisica complessa o generare ambienti 3D ad alta fedeltà da un singolo prompt testuale.
Il materiale fisico più costoso in questa macchina è probabilmente la memoria. La Halo Station dispone di 576 gigabyte di memoria ad alta larghezza di banda, specificamente la variante HBM3E. In termini quotidiani, si pensi alla memoria standard del computer come a un corridoio stretto dove i dati devono aspettare il proprio turno per raggiungere il processore. L'HBM3E è un'enorme autostrada a più corsie costruita direttamente sopra il chip. Questo design consente ai dati di muoversi a velocità che la memoria desktop standard non può eguagliare. La macchina dispone anche di due terabyte di memoria di sistema, fornendo un enorme spazio di lavoro affinché il computer possa conservare le informazioni.
Questo volume di memoria è il motivo per cui la Halo Station può eseguire localmente modelli di IA con più di un trilione di parametri. Un parametro è essenzialmente una connessione nel cervello di un'IA. Più parametri ha un modello, più è sfumato e capace. La maggior parte dei computer domestici fatica a eseguire modelli con 70 miliardi di parametri perché manca lo spazio per archiviare i dati mentre il processore ci lavora. Offrendo una capacità di memoria più di tre volte superiore a quella del suo rivale più prossimo, la Nvidia DGX Station, AMD fornisce uno spazio di lavoro più ampio per l'IA. Ciò significa che un'azienda può eseguire una versione massiccia e privata di uno strumento come GPT-4 senza inviare un singolo byte di dati a un server esterno.
Guardando il quadro generale, la spinta verso i supercomputer locali è una reazione ai costi crescenti del cloud. Nell'ultimo decennio, l'industria tecnologica ha spostato tutto su server remoti di proprietà di Amazon, Microsoft o Google. Tuttavia, l'esecuzione di modelli di IA di grandi dimensioni su queste piattaforme è costosa. Le aziende pagano un abbonamento o una tariffa per utilizzo che non finisce mai. Questi costi sono come una lenta perdita in uno pneumatico che alla fine lascia un'azienda a terra. Un'impresa che spende 5.000 € al mese in tariffe cloud per l'IA spenderà 180.000 € in tre anni.
AMD scommette che le istituzioni preferiranno pagare 100.000 € in anticipo per possedere l'hardware. Questo spostamento rappresenta un passaggio verso la potenza decentralizzata. Quando un'azienda possiede la Halo Station, ha un instancabile stagista che lavora al costo dell'elettricità. Non devono preoccuparsi che un fornitore di cloud aumenti i prezzi o cambi i termini di servizio. Questo è particolarmente interessante per settori come la sanità, la difesa o i servizi legali, dove la privacy dei dati è un requisito legale. Mantenere i dati all'interno dell'edificio su una macchina fisica è il modo più sicuro per gestire informazioni sensibili.
AMD sta entrando in un mercato che Nvidia occupa da diversi anni. La Nvidia DGX Station è l'attuale standard per lo sviluppo locale di IA. Dal punto di vista del mercato, Nvidia ha un vantaggio significativo perché il suo software è lo standard del settore. La maggior parte dei ricercatori di IA scrive codice che funziona meglio sull'hardware Nvidia. Nvidia rende anche facile spostare il lavoro da un desktop locale a un massiccio cluster cloud. Questa transizione senza soluzione di continuità è un importante punto di forza per gli sviluppatori che iniziano in piccolo e scalano verso l'alto.
| Caratteristica | AMD Threadripper Halo Station | Nvidia DGX Station (Gen. Attuale) |
|---|---|---|
| Numero di Core | 96 Core (Threadripper Pro) | Variabile (Host Intel/AMD) |
| Memoria ad Alta Larghezza di Banda | 576GB HBM3E | 160GB - 320GB HBM |
| Memoria di Sistema | Fino a 2TB | Fino a 512GB - 1TB |
| Capacità Modello IA | Oltre 1 Trilione di Parametri | ~500 Miliardi di Parametri |
| Raffreddamento | Raffreddamento a Liquido | Raffreddamento a Liquido |
| Ecosistema Software | In Crescita (ROCm) | Maturo (CUDA) |
La strategia di AMD è vincere sulla capacità grezza. Offrendo una memoria significativamente maggiore, consentono agli utenti di eseguire modelli più grandi di quelli che la macchina Nvidia può gestire. Se un ricercatore deve lavorare su un modello da un trilione di parametri, la macchina AMD è attualmente l'unica opzione desktop in grado di far stare quel modello nella sua memoria. Tuttavia, il successo di questo hardware dipenderà dalla piattaforma software di AMD, chiamata ROCm. Storicamente, AMD ha faticato a eguagliare la facilità d'uso del software di Nvidia. Per l'utente medio in un ambiente aziendale, l'hardware è valido solo quanto le applicazioni che vi girano sopra.
Praticamente parlando, la maggior parte degli individui non acquisterà un computer da 100.000 €. La Threadripper Halo Station è uno strumento industriale, non un elettrodomestico. Dovreste vedere questa macchina allo stesso modo in cui vedete una gru per carichi pesanti o un robot chirurgico specializzato. È la spina dorsale invisibile che aiuterà a creare il software che userete sul vostro telefono l'anno prossimo. Quando uno sviluppatore ha così tanta potenza sulla sua scrivania, può sperimentare più velocemente. Può addestrare agenti IA più piccoli ed efficienti che alla fine gireranno su laptop consumer più economici.
Dal punto di vista del consumatore, questa uscita segnala che l'era dell'affidamento totale al cloud sta finendo. Stiamo assistendo a un ritorno ciclico all'elaborazione locale. Man mano che i componenti all'interno di questi supercomputer diventeranno più economici e facili da produrre, la tecnologia ricadrà a cascata verso il basso. La memoria ad alta larghezza di banda che rende la Halo Station così costosa oggi sarà probabilmente standard nei PC da gioco di fascia media entro il 2030. È così che funziona la democratizzazione tecnologica. Gli strumenti di lusso di oggi diventano i componenti fondamentali dei dispositivi economici di domani.
Il lancio della Halo Station è un segno tangibile che l'industria dell'IA sta maturando. Stiamo superando la fase dell'entusiasmo in cui ogni azienda si limitava ad affittare spazio su un server. Le aziende sono ora alla ricerca di soluzioni scalabili e resilienti che possano controllare. AMD sta fornendo l'infrastruttura fisica per questa indipendenza. Sebbene il prezzo sia elevato, il potenziale di risparmio a lungo termine e la sicurezza dei dati rappresentano un potente incentivo per le grandi istituzioni.
In definitiva, dovreste osservare come il vostro posto di lavoro gestirà i dati nel corso del prossimo anno. Se la vostra azienda inizia a parlare di "IA on-premise" o "inferenza locale", sta parlando di macchine come la Halo Station. Questo spostamento verso la potenza locale cambierà il modo in cui il software viene sviluppato e come i vostri dati personali vengono protetti. State assistendo a un momento in cui il petrolio greggio digitale della potenza di elaborazione viene confezionato per l'ufficio, rendendo il complesso mondo dell'IA un po' più radicato nella realtà fisica.
Fonti:



La nostra soluzione di archiviazione e-mail crittografata end-to-end fornisce i mezzi più potenti per lo scambio sicuro dei dati, garantendo la sicurezza e la privacy dei tuoi dati.
/ Creare un account gratuito