In Breve
- Cosa è Jalapeño?
- Jalapeño è un chip per l'inferenza sviluppato da OpenAI, progettato per migliorare le prestazioni e l'efficienza energetica.
- Quali sono i vantaggi di Jalapeño rispetto ai chip attuali?
- Offre un maggior numero di token per utente e una maggiore throughput per kilowatt rispetto ai processori di inferenza all'avanguardia.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto per la fine del 2026, con una distribuzione più ampia nel 2027.
Alla recente conferenza Hot Chips, OpenAI ha introdotto Jalapeño, il suo innovativo chip progettato per l’inferenza, rivelando risultati promettenti attraverso i benchmark condotti su InferenceX di Semianalysis. Questi risultati indicano un notevole aumento nel numero di token gestibili per utente e una maggiore throughput per kilowatt rispetto ai processori di inferenza attualmente considerati all’avanguardia.
Il confronto è stato effettuato utilizzando un sistema Nvidia Blackwell come riferimento. Tuttavia, OpenAI ha avvertito che la concorrenza nel settore potrebbe evolversi rapidamente prima della piena distribuzione del prodotto. Jalapeño è stato sviluppato in collaborazione con Broadcom, integrando i modelli proprietari di OpenAI nel processo di progettazione, con l’obiettivo di creare una piattaforma multigenerazionale capace di coordinare chip, memoria e modelli.
Una delle caratteristiche distintive di Jalapeño è la sua architettura, progettata per ridurre i ritardi nelle fasi di prefill e comunicazione, che sono spesso colli di bottiglia durante l’inferenza. Come spiegato nel comunicato aziendale, “We designed Jalapeño to minimize data movement and communication delays.” Questo approccio consente allo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte, di essere allocato e mantenuto localmente, mentre il sistema attiva la combinazione adeguata di calcolo, memoria e rete per ogni fase di inferenza.
Richard Ho, responsabile hardware di OpenAI, ha sottolineato l’importanza di questi risultati, affermando: “The bottom line is that the results show a very, very significant performance advance over state of the art. Jalapeño can serve more AI work per unit of power, while also returning responses more quickly. It’s very efficient to serve a lot of customers, but it can also be very low latency.”
OpenAI prevede un primo dispiegamento di Jalapeño in volumi molto ridotti entro la fine del 2026, con una distribuzione più significativa attesa per il 2027. Questo sviluppo potrebbe segnare un passo importante verso un futuro in cui l’efficienza energetica e le prestazioni superiori saranno fondamentali per il progresso dell’intelligenza artificiale.
