Az NVIDIA DGX Sparkon 42%-kal gyorsabb az AI-modell inferenciája, 3 trükk a Ling-3.0-flashhez
Az Inclusion AI 124 milliárdos Ling-3.0-flash modellje 42,5%-kal gyorsabban fut és 24,5%-kal csökkentett késleltetéssel dolgozik NVIDIA DGX Sparkon. Az optimalizálások a memória-sávszélességet és a token-generálást célozzák.
A 124 milliárd paraméteres, Mixture-of-Experts (MoE) architektúrájú Ling-3.0-flash modell esetében a korábbi profilok kimutatták, hogy a dekódolás memóriakorlátos. A futási időt elsősorban az MoE számítások és a kimeneti réteg projekciója határozta meg. A problémákra két megoldás kínálkozott: a súlyolvasási forgalom csökkentése minden dekódolási lépésben, illetve több token generálása egyetlen ellenőrzési körben. (Nvidia Developer)
Humming MXFP4 MoE kernel
Az első optimalizálás a FlashInfer MXFP4 MoE backend helyett a Humming kernel könyvtárat használja. Ez a megoldás CUDA Runtime Compilation (NVRTC) segítségével futásidőben generálja és fordítja le a kernel binárisokat, így a Ling-3.0-flash specifikus méreteihez optimalizálja azokat. A Humming használatával a tokenenkénti dekódolási idő 27,71 ms-ról 25,35 ms-ra csökkent, ami 9,3%-os sebességnövekedést jelent.
Online FP8 LM head kvantálás
A második lépés az output réteg, vagyis az LM head online FP8 kvantálása. Ez a technika megfelezi a súlyolvasási forgalmat azáltal, hogy a súlyokat BF16-ról FP8-ra konvertálja. A Hummingmal kombinálva ez az optimalizálás további 21,7%-kal növelte a dekódolási sebességet az alapkonfigurációhoz képest. A beállítás a SGLANG_ENABLE_FP8_LM_HEAD=1 kapcsolóval aktiválható.
Multi-token prediction (MTP) speculatív dekódolás
A harmadik technika a Multi-token prediction (MTP) speculatív dekódolás, amely a beépített NEXTN réteget használja. Ez lehetővé teszi több token egyidejű előrejelzését és ellenőrzését, csökkentve ezzel a dekódolási lépések számát. Egy szintetikus munkaterhelésen ez a módszer 185,1%-kal növelte a sebességet. Az összesítésben, a GSM8K teszten a három optimalizálás együtt 42,5%-os sebességnövekedést és 24,5%-os késleltetéscsökkenést eredményezett, statisztikailag kimutatható pontosságváltozás nélkül.