Az NVIDIA DGX Spark nyolc csomópontos fürtökkel futtathatja az AI-modelleket
Az NVIDIA DGX Spark hivatalosan is támogatja a nyolc csomópontos fürtöket, amelyek 1 TB-os egységes memóriájuk révén lehetővé teszik a 753 milliárd paraméteres GLM 5.3 modell helyi futtatását.
Az új, Spark-optimalizált RoCEnante háttérrendszer csökkenti az all-reduce késleltetést a kapcsolóval összekapcsolt fürtökön, így nyolc csomóponton 4,43-szoros dekódolási sebességnövekedést eredményez a nélküli 3,05-szoroshoz képest. A teljesítményteszt adatok szerint a Qwen3.8-27B (NVFP4) modell dekódolási átbocsátása egy csomóponton nagyjából 12 token/másodpercről nyolc csomóponton 52 token/másodpercre skálázódik. (Nvidia Developer)
Memóriakapacitás és modellméret
A nyolc csomópontos fürt legnagyobb előnye a memória. Egyetlen DGX Spark 128 GB egységes memóriával rendelkezik; négy csomópont eléri az 512 GB-ot, míg nyolc csomópont az 1 TB-ot. Ez a kapacitás lehetővé teszi olyan modellek futtatását, amelyek korábban nem indultak volna el egy négycsomópontos rendszeren. A GLM 5.3 Flash modell nyolc csomóponton nagyjából 80 token/másodperc sebességgel futott, ami interaktív helyi fejlesztésre alkalmas.
Háttérkommunikáció és topológia
A RoCEnante háttérrendszer a kapcsolóval összekapcsolt topológiákra vonatkozik, mivel minden csomópont közötti közvetlen pont-pont cserére támaszkodik. A legjobb topológia a munkaterheléstől függ: a fizikai gyűrű kiváló dekódolási átbocsátást biztosít egyetlen modell számára az összes csomóponton. Az NVIDIA ConnectX-7 NIC-ek és az RDMA a Converged Ethernet (RoCE) kommunikáció révén hatékonyan cserélnek tenszorokat. Az NVIDIA szerint az újítások a modell kompatibilitási útmutatóban és a Switchyard orchestrációs erőforrásokban találhatók meg.