AI-tervezte chipet nem bízik meg teljesen az OpenAI vezetője
Richard Ho, az OpenAI hardvervezetője szerint a cég AI-modelljei módosították a Jalapeño chip dizájnját, de nem mindig tudják megmagyarázni a változtatásokat. A módosítások több mint 13%-kal csökkentették a chip méretét.
Az OpenAI saját AI-modelljei módosították a cég Jalapeño chipjének egyes részeit, de a mérnökök nem mindig tudták megmagyarázni a változtatások okát. Richard Ho, az OpenAI hardvercsapatának vezetője szerint egy példában több mint 13%-os lapkaméret-csökkenést értek el — közölte Ian Cutress a More Than Moore-ral. (TNW)
Ho, aki korábban a Google TPU-programján és a D.E. Shaw Research Anton szuperszámítógépein dolgozott, 2023-ban csatlakozott az OpenAI-hoz. A chipet a Broadcommal közösen fejlesztették ki, elsősorban a modellek futtatására, nem azok betanítására. A chip júniusban mutatkozott be, és augusztusban, a Hot Chips konferencián teljesítményteszt eredményeket is közöltek az Nvidia GB300-ával szemben.
Ahol az AI diktált
A csapat gyorsan haladt a fejlesztéssel, Ho elmondása szerint. Az early estimate-ek, amelyek a chipre illeszthető logikát becsülték, kissé pontatlannak bizonyultak. Ahelyett, hogy a teljesítmény rovására mentek volna, a problémát az AI-modelljeikre bízták.
Ezek akkoriban még nyers belső modellek voltak, nem kifejezetten chipmunkára finomhangolva, és csak alig voltak előrébb a publikusan elérhető verzióknál. A modellek által generált kód nagy része XLS-ben íródott, egy olyan eszközben, amely magas szintű kódot alakít át chiplogikává. Ez a nyelv jobban hasonlít a Rustra, mint a Verilogra, amelyben a legtöbb chipet írják.
Megmagyarázhatatlan változások
Az AI-modellek által végrehajtott forráskód-módosítások némelyike nem járt egyértelmű indoklással. A csapat túl gyorsan haladt ahhoz, hogy megálljon és kiderítse, miért segítettek ezek a változtatások — mondta Ho. „Konceptuálisan nem teljesen értettük, mit csinál” — nyilatkozta. Ezért minden változtatást a teljes validációs folyamaton keresztül kellett futtatni, és a standard design eszközöknek kellett jóváhagyniuk a chipet.
Ho szerint egy chip több százmillió kaput tartalmazhat, és egy 99,99%-os pontosságú modell nem elegendő ekkora skálán, de ezt a kockázatot érdemesnek tartotta vállalni, amíg a csapat óvatos marad. Nem tervezik a létszám csökkentését az AI modellek miatt, inkább többet és gyorsabban akarnak velük dolgozni.
Egy chip a teljes flottának
Ho megvédte a chip legszokatlanabb döntését is: az iparágban jelenleg az inferenciát külön hardverekre bontják az egyes szakaszokhoz — prefill, amely az utasítást olvassa, és decode, amely a választ írja. Az OpenAI azonban egyetlen részt épített mindkettőhöz.
Ho szerint kockázatos lehet a datacenterek kapacitását egy fix arányhoz kötni, amikor a munkaterhelés keveréke folyamatosan változik. Elismerte, hogy a dizájn valós üzembe helyezés során mutathat kiadásokat, és a nagyon hosszú kontextusok elérhetik a határokat. A chip közvetlenül kapcsolja a nagy sávszélességű memóriabankokat a magjaihoz, így kevesebb adatmozgás történik.
Ho arra számít, hogy a riválisok, köztük a GPU-gyártók is, lemásolják az ötletet. Az OpenAI mégis úgy döntött, hogy közzéteszi, annak ellenére, hogy az Nvidia egyik legnagyobb ügyfele. „Mert továbbra is szükségünk van GPU-kra, és azt akarjuk, hogy a GPU-k jobbak legyenek” — mondta Ho.
Szerinte az iparág igazi korlátja nem az energia, a memória vagy a csomagolás, hanem az, hogy a vezetők és a befektetők, akiket a múltbeli fellendülések megégettek, nem látják, milyen nagy lesz az AI, ezért túl kicsik a tétjeik. A Jalapeño második verziója jelenleg a laborban van minősítés alatt, miközben az OpenAI a tömeggyártás felé halad.