Jalapeño porta l'inferenza sul terreno del watt: i primi numeri del chip OpenAI-Broadcom

Il 25 agosto, sul palco di Hot Chips, OpenAI ha pubblicato i primi risultati misurati di Jalapeño, l'acceleratore per inferenza progettato con Broadcom e annunciato lo scorso 24 giugno. I numeri sono i primi dati pubblici di un chip disegnato da un laboratorio di modelli e messi a confronto con l'hardware commerciale che oggi regge la quasi totalità del carico mondiale di inferenza.

L'efficienza per watt sposta il baricentro della capacità di calcolo: dentro sale come questa si decide quanta intelligenza artificiale un megawatt allacciato riesce davvero a servire.

I numeri, e il perimetro dei numeri

Il test gira su InferenceX, il benchmark pubblico di SemiAnalysis che misura l'intero processo di servizio di una richiesta, e copre tre modelli a pesi aperti: GPT-OSS 120B, DeepSeek R1 670B e Kimi K2.5 da mille miliardi di parametri. Su tutti e tre, secondo OpenAI, Jalapeño consegna da 1,5 a 1,9 volte più lavoro per watt al picco di throughput e una latenza end-to-end da 1,7 a 3,6 volte più bassa dei sistemi di confronto, i rack Nvidia GB200 e GB300. Sui carichi altamente interattivi il vantaggio dichiarato sale a 2,1-4,1 volte.

Il dettaglio che spiega il resto sta nella potenza. Jalapeño è dichiarato a 700 watt di package TDP, con consumo sostenuto misurato a 550 watt o meno, e viene confrontato con acceleratori classificati a 1.200 e 1.400 watt. Ogni package accoppia il die di calcolo a sei stack HBM4, per 216 GiB a 15,4 TB/s. Al punto di lavoro corrispondente alla migliore latenza per token già raggiunta dal GB300, il rapporto di throughput per kilowatt che OpenAI riporta arriva a valori a tre cifre: circa 104 volte su DeepSeek R1.

Il perimetro va letto con la stessa attenzione. Il confronto esclude Vera Rubin, la piattaforma Nvidia che alimenterà il primo gigawatt di sistemi che la stessa OpenAI ha accettato di installare nella seconda metà del 2026, e che condivide con Jalapeño la memoria HBM4. Le comparazioni principali mettono la predizione a token singolo di Jalapeño contro configurazioni GB300 che fanno lo stesso, mentre in produzione i deployment Nvidia adottano comunemente la predizione multi-token: nell'appendice, con quel confronto, il vantaggio di efficienza al picco scende attorno a 1,5 volte. E Jalapeño serve modelli, resta fuori dall'addestramento, il terreno dove Nvidia rimane a oggi indiscussa. Gli esemplari sono campioni ingegneristici: il dispiegamento nell'infrastruttura OpenAI parte entro fine anno, la seconda generazione è in sviluppo avanzato e la terza in fase di concezione.

Perché conta: il watt come valuta

Per anni la corsa si è misurata in FLOPS e in numero di acceleratori. Il gesto di OpenAI in questi risultati è dichiarare esplicitamente che la metrica utile è il lavoro per unità di potenza, e strutturare l'intera presentazione attorno a quella. La ragione è aritmetica prima che retorica: un data center si dimensiona sull'energia disponibile, la potenza allacciata è un tetto rigido, e dentro quel tetto la domanda che conta per chi compra è quanti token utili escono da ogni kilowatt.

Il messaggio arriva mentre due colli di bottiglia stringono insieme. Il primo è la memoria: Samsung, SK hynix e Micron hanno venduto la capacità HBM fino al 2027, allo stesso Hot Chips Micron ha ricordato il 23 agosto che l'HBM consuma circa il triplo dell'area di wafer del DDR5 a parità di capacità, e il CEO di SK hynix Kwak Noh-jung ha indicato il 2027 come l'anno peggiore della penuria. Scalare Jalapeño sull'accordo da 10 gigawatt firmato con Broadcom lo scorso ottobre farebbe di OpenAI un nuovo, ingombrante richiedente della stessa HBM4 che Nvidia si è assicurata con contratti pluriennali.

Il secondo è l'energia, e qui il discorso torna a casa. La capacità europea di calcolo si negozia in megawatt allacciati e in tempi di connessione alla rete, come ricostruito nel deep del 20 agosto di questa sala stampa sui data center AI europei. Un guadagno di efficienza di 1,5 volte sull'inferenza, in quel contesto, si traduce direttamente in un fattore uno e mezzo sulla quantità di servizio erogabile da un allacciamento già ottenuto. Per un operatore italiano che tratta oggi la potenza di un sito, questo è un dato di pianificazione, prima ancora che di tifoseria fra fornitori.

Il secondo laboratorio che scende in fonderia

Jalapeño arriva in una settimana in cui il movimento è visibile su più fronti. Anthropic ha assunto Amir Salek, il fondatore del programma TPU di Google, per la propria squadra compute, dopo l'ordine da 250 milioni di dollari alla britannica Fractile di cui questa sala stampa ha scritto nel deep del 21 agosto. Due laboratori di frontiera, in tempi ravvicinati, portano dentro casa la progettazione dell'acceleratore che serve i loro modelli.

La logica è la stessa e va oltre il risparmio sulla bolletta. Chi possiede modello, kernel, sistema di serving e prodotto conosce con esattezza la forma del proprio carico: quanto pesa il prefill, quanto il decode, quanta banda di memoria serve davvero, dove la comunicazione fra core introduce attesa. Un acceleratore generalista deve coprire tutti i casi; un ASIC disegnato attorno a un carico noto ottimizza per quello. OpenAI dichiara di aver usato i propri modelli per accelerare progettazione e verifica fino al tape-out in nove mesi, e di aver strutturato il chip come bersaglio di programmazione leggibile anche da un agente: su blocchi selezionati di attenzione e mixture-of-experts di GPT-OSS, le implementazioni generate da modelli girano 1,5-1,8 volte più veloci di quelle scritte da esperti umani.

Resta la dipendenza incrociata, che entrambe le parti dichiarano apertamente. Il 17 agosto Nvidia ha accettato di finanziare fino a 105 miliardi di dollari un campus in Ohio preso in locazione da OpenAI, e OpenAI ribadisce che continuerà a installare acceleratori Nvidia e di altri partner su addestramento e inferenza. Il verticale integrato, per ora, convive con il fornitore che lo finanzia.

Cosa cambia per chi compra inferenza in Italia

Il primo effetto concreto è sul vocabolario dei contratti. Finché la capacità si comprava a GPU-ora, la trattativa verteva sul numero di schede e sul prezzo orario. Se la metrica pubblica diventa il token per kilowatt a una latenza data, un capitolato può cominciare a chiedere garanzie su quel piano: latenza al percentile, throughput a parità di potenza contrattualizzata, comportamento sotto carico agentico dove le richieste si concatenano e ogni attesa si somma alla successiva.

Il secondo è sulla struttura dei costi di servizio. Un'efficienza migliore a monte diventa prezzo per token più basso a valle solo se il fornitore ha ragione di trasferirla. La discesa recente dei listini sui modelli di punta suggerisce che la concorrenza stia spingendo in quella direzione, ma il legame resta indiretto: per chi pianifica un budget triennale su carichi agentici, la voce da monitorare è il costo per attività completata, che tiene dentro anche il numero di passi e il tasso di ripetizione, oltre al prezzo unitario.

Il terzo è il rischio di allineamento. Un ASIC verticale ottimizza per la famiglia di modelli del laboratorio che lo ha disegnato. Per un'impresa europea che ha adottato una strategia multi-fornitore, e che sull'AI Act deve documentare fornitori e catena del valore, la domanda pratica diventa quanto costa cambiare fornitore quando la convenienza economica dipende anche dal silicio sottostante. La portabilità dei carichi torna a essere una clausola, oltre che una buona pratica architetturale.

Dove si decide la partita

I prossimi mesi offrono tre verifiche indipendenti. La prima è il confronto diretto Jalapeño contro Vera Rubin su HBM4 alla pari, l'unico paragone che scioglie il dubbio di generazione. La seconda è il passaggio dal campione ingegneristico alla produzione qualificata dentro l'infrastruttura OpenAI entro fine anno: un conto è il laboratorio, un altro è la sala con migliaia di unità, la loro affidabilità e il loro raffreddamento. La terza è la disponibilità di HBM4, che decide quanto di questo vantaggio potrà essere effettivamente costruito prima del 2028.

La domanda di fondo, per il mercato europeo, sta a monte di tutte e tre: se il calcolo si valuta a lavoro per watt, chi negozia oggi contratti di capacità pluriennale sta comprando la metrica giusta, o sta ancora contando le schede?

Autore

Pablo Liuzzi

Founder, Synthos Logic