Több billió paraméteres AI-modelleket futtat a Cerebras, 59 chipet köt össze

A Kimi K3 modell 3 billió paraméterének 4 bites kvantálása mintegy 16 GB-ot igényel rétegenként. Mivel egy Cerebras WSE-3T waferen 44 GB memória van, két lineáris réteg fér el egy waferen, míg a sűrű rétegeknek további hely kell a KV cache számára, így csak egy sűrű réteg fér el egy waferen. A 69 lineáris és 24 sűrű réteghez összesen 35 lineáris és 24 sűrű réteg waferre van szükség, ami 59 waferes konfigurációt eredményez. (Hacker News)

Modellezés és kvantálás

A Kimi K3 egy nyílt forráskódú, 3 billió paraméteres modell, 69 lineáris-attentios és 24 sűrű réteggel. A Terminal-Bench 2.1 teszten 88,3%-ot, a BrowseComp-on pedig 91,2%-ot ért el. Ezek az eredmények a GPT-5.6 Sol eredményeihez hasonlóak, és a Cerebras szerint a modell „határvonalbeli kódolási és ügynöki képességekkel” rendelkezik.

Hálózati architektúra és latencia

A Cerebras rendszere a modelleket egy folyamat-ban futtatja, ahol csak az aktivációkat továbbítják a waferek között, mindössze 2 mikroszekundumos hop-latenciával. Ez lehetővé teszi, hogy a modell súlyai az on-chip memóriában maradjanak. A rendszer egyszerre több kérést is képes feldolgozni, mivel a folyamat minden szakasza eltérő kéréseken dolgozhat, így elkerülhető a batch-méret-egyes problémája.

A KV cache mérete határozza meg a párhuzamosan feldolgozható kérések számát. A 256k átlagos kérésméret és a 8 bites KV cache mellett a rendszer körülbelül 2000 token/másodperc sebességet képes elérni. A Cerebras megjegyzi, hogy a token-átviteli sebesség becsült érték, és a valós teljesítmény függ a konkrét terheléstől.

A Cerebras API-ja felhőalapú inferenciát kínál, amely lehetővé teszi a felhasználók számára, hogy saját modelleket deployoljanak. Az érdeklődők a cloud.cerebras.ai címen érhetik el a szolgáltatást, vagy a [email protected] címen vehetik fel a kapcsolatot az értékesítési csapattal.