Az Alibaba 2,4 billió paraméteres Qwen3.8-Modelljét nyílt súlyokként adta ki

Az Alibaba közzétette a Qwen3.8-2.4T-A95B (Qwen3.8-Max) modell nyílt súlyait, ezzel a nyílt ökoszisztémába hozva a határközeli képességeket. A modell 2,4 billió paraméterrel rendelkezik, melyből tokenenként 95 milliárd aktiválódik.

A Qwen3.8-Max egy finomhangolt, több szakértős (MoE) architektúrát használ, hibrid teljes és lineáris figyelmi mechanizmussal. Kontextusablaka egymillió tokenig terjed, kimeneti hossza pedig 128 ezer token, így ideális komplex feladatokhoz és ügynöki munkaterheléshez.

Optimalizált teljesítmény NVIDIA GB300 NVL72-n

A 2,4 billió paraméteres modell futtatásához adatközpont-méretű számítási kapacitás szükséges. Az NVIDIA GB300 NVL72, amely 72 NVIDIA Blackwell Ultra GPU-t integrál, 130 TB/s-os NVLink sávszélességgel rendelkezik. Ez a konfiguráció lehetővé teszi a modell számára, hogy további finomhangolás nélkül több mint 4000 tokent dolgozzon fel másodpercenként GPU-nként, és több mint 350 tokent másodpercenként felhasználónként FP8 pontossággal – közölte az NVIDIA Developer Blog.

Az NVIDIA Dynamo, SGLang és vLLM nyílt forráskódú futtatókörnyezeteket, valamint az NVIDIA NIM konténeres megoldást kínálja a modell telepítéséhez. A fejlesztők az NVIDIA NeMo AutoModel segítségével domain-specifikus célokra is finomhangolhatják a modellt.

A Qwen3.8-2.4T-A95B modell súlyai letölthetők a Hugging Face-ről és a ModelScope-ról. Az NVIDIA további optimalizálásokat, például NVFP4 pontosságot tervez, amelyek tovább növelhetik a teljesítményt.