Az OpenAI saját chipje, a Jalapeño 1,9-szeres teljesítményt ígér az NVIDIA-nál

Az OpenAI lenyűgöző előrelépést jelentett be saját fejlesztésű AI-gyorsító chipjével, a Jalapeñóval kapcsolatban. A vállalat szerint a chip nem csupán egy újabb hardveres komponens, hanem az NVIDIA Blackwell-kategóriás alternatívájaként pozicionálható. (Latent Space)

A Jalapeño chip belső tesztek alapján 1,5–1,9-szer több munkát végez wattonként csúcsteljesítményen, és 1,7–3,6-szor alacsonyabb végponttól végpontig tartó késleltetést kínál az NVIDIA GB200/GB300 rendszereihez képest. Különösen az interaktív munkaterheléseknél mutatott kiemelkedő eredményeket, ahol 2,1–4,1-szeres teljesítménynövekedést értek el. A chip névlegesen 700W-os, de a tesztek során állítólag 550W alatt maradt.

Az OpenAI saját infrastruktúrájában év végére tervezik a bevezetést, miközben a Gen 2 már fejlesztés alatt áll, és a Gen 3 is folyamatban van. Érdekesség, hogy a Jalapeño kiemelkedő eredményeket ért el anélkül is, hogy olyan trükköket alkalmaztak volna, mint az agresszív előre- és utódekódolás vagy a spekulatív dekódolás, miközben olyan rendszereket is legyőzött, amelyek ezeket a technikákat használták.

A chip fejlesztésében a GPT-Astra és a Codex is szerepet játszott: ezek a modellek segítettek az alacsony szintű kernel-optimalizálásokban. Ennek köszönhetően három, eredetileg nem tervezett, nyílt forráskódú modell is magas teljesítményt ért el a Jalapeñón, körülbelül két hónap alatt. Bizonyos figyelmi és MoE (Mixture of Experts) blokkok 1,5–1,8-szor gyorsabban futottak, mint a korábbi, emberi szakértők által írt kódok.

A Jalapeño bejelentése iparági átalakulást is jelezhet: a csúcskategóriás laboratóriumok talán már nem lesznek kizárólag az NVIDIA-tól függők az inferencia gazdaságosságát illetően, még ha a csomagolási és gyártási kapacitások továbbra is szűk keresztmetszetet jelentenek.