OpenAI saját chipje, a Jalapeño, drasztikusan csökkenti az LLM-költségeket

Az OpenAI pénzügyi helyzete erősen függ az infrastruktúra költségektől, ami a Jalapeño chip fejlesztéséhez vezetett. Míg az Nvidia becslések szerint 75%-os profitmargóval rendelkezik csúcskategóriás processzorain, az OpenAI nagyjából 33 cent profitot tart meg minden dollár után, miután levonja a hatalmas működési költségeket. (AI News)

Az OpenAI saját fejlesztésű Jalapeño ASIC chipje, a Broadcommal közösen, drasztikusan csökkenti az LLM-inferencia költségeit és növeli a profitot.

Kapcsolódó: OpenAI chipfinanszírozás

A ChatGPT szerverek üzemeltetése tavaly 8,4 milliárd dollárba került az OpenAI-nak, idén pedig a 900 millió heti felhasználóval ez az összeg várhatóan 14 milliárd dollárra emelkedik. A cég 1,4 billió dollárt tervez költeni számítási kapacitásra a következő nyolc évben, ami jelentős befektetés a jelenleg 25 milliárd dolláros éves bevétel mellett.

Kapcsolódó: Google Gemma és NVIDIA helyi AI

Hardver tervezése LLM-inferenciára

Az OpenAI Jalapeño chipje, amelyet a cég első „Intelligence Processor”-aként emlegetnek, kifejezetten nagy nyelvi modellek (LLM) inferenciájára készült, nem általános célú AI-feladatokra. Az OpenAI biztosította a mag-architektúra dizájnt a saját modelljeihez és kiszolgáló rendszereihez, míg a Broadcom felelt a szilícium mérnöki munkákért és a nagy teljesítményű hálózati integrációért. A TSMC gyártja a chipet Tajvanon, a Celestica pedig a kártya- és rack-rendszereket építi. Az OpenAI szerint a korai laboratóriumi minták már futtatják a legfejlettebb modelleket, köztük egy kiadatlan GPT-5.3-Codex-Spark modellt is.

Kapcsolódó: AI-infrastruktúra költségek

Richard Ho, az OpenAI hardverprogramjának vezetője kiemelte, hogy az architektúra minimalizálja az adatmozgást, hogy a kihasználtság közelítsen az elméleti csúcsteljesítményhez. Az általános célú gyorsítók eltérően, ez az architektúra kifejezetten a számítási kapacitás, a memória és a hálózati erőforrások egyensúlyát célozza meg az interaktív LLM-kiszolgálás adatmozgási szűk keresztmetszeteinek megoldására. A platform integrálja a Broadcom Tomahawk hálózati szilíciumát, lehetővé téve a processzorok kommunikációját hatalmas, klaszterezett adatközpontokban.

Kapcsolódó: Google chipellátási stratégia

Vertikális integráció

A saját szilícium felé mozdulva az OpenAI szoftverrétegből vertikálisan integrált infrastruktúra-céggé válik. Ez a teljes láncot lefedi: chip-architektúra, szoftver kernel, memóriarendszerek, hálózati ütemezés és az alkalmazási réteg. Az Apple-höz hasonlóan, az OpenAI is optimalizálhatja infrastruktúráját saját modelljeihez. Ez az integráció egy folyamatos működési ciklust táplál: a jobb infrastruktúra-hatékonyság csökkenti mind a modellek betanításának, mind a kiszolgálásának költségeit. A megfizethetőbb kiszolgálás pedig jobb és több AI-modellhez vezet.

Kapcsolódó: Nvidia Mission Control szupergépek