A DeepSeek DeepInferrel nyílt forráskódúvá tett, sebességet és skálázhatóságot kínál

A DeepSeek kiadta a DeepInfer nevű, nagy teljesítményű inferencia keretrendszerét, amely a cég saját nagyméretű modelljeit, köztük a DeepSeek-V4.1-Flash-t futtatja. A szoftver Apache 2.0 licenc alatt érhető el, ami ritka betekintést enged egy vezető AI-labor valós kiszolgáló infrastruktúrájába. (MarkTechPost)

A DeepInfer eredetileg a vLLM-re épült, de merít ötleteket a SGLang és a TensorRT-LLM projektekből is. A keretrendszer elsősorban offline inferenciára lett optimalizálva, és olyan alapvető funkciókat kínál, amelyek nagy léptékű AI-szolgáltatásokhoz szükségesek. A DeepSeek állítása szerint egyetlen fürtjük naponta 155 trillió tokent képes kiszolgálni, és a becsült bevételük 38 dollár GPU-óránként.

A DeepInfer működése és architektúrája

A DeepInfer a DeepSeek saját fejlesztésű kerneljeit, mint a FlashMLA, DeepGEMM, DeepEP, TileKernels és TileLang, használja. Rendszerszinten öt kulcsfontosságú ötletet valósít meg. A párhuzamosság terén az Attention DP (Data Parallelism) és a Wide-EP (Expert Parallelism) kombinációját alkalmazzák, különösen a Mixture-of-Experts (MoE) rétegekhez, ahol egy expert-parallel load balancer (EPLB) gondoskodik az elosztásról.

A dekódolás EP64-től EP128-ig terjedő expert párhuzamossággal fut, míg az előzetes betöltés (prefill) a rendelkezésre álló memóriához igazított legkisebb EP-t használja, jellemzően EP2-től EP8-ig.

A DSpark nevű technológia a spekulatív dekódolás egy új formáját vezeti be, ahol egy bizalomfej (Confidence Head) becsli a draft tokenek elfogadási arányát, így csak a legértékesebb előtagot kell ellenőrizni. Ez a módszer a DeepSeek szerint mintegy 30%-kal csökkenti az ellenőrzött tokenek számát, miközben az elfogadott tokenek hossza alig változik.

Az SWA (Sliding Window Attention) bounded replay funkció cache-találat esetén csak az utolsó 128 token állapotát számolja újra, ami állandó költséget jelent, függetlenül a kontextus hosszától. Ez a dekóder rétegekben közel felére csökkenti a teljes előzetes betöltési számítást.

Teljesítmény és összehasonlítás

A DeepSeek által közzétett teljesítménytesztek szerint a DeepInfer képes meghaladni a 25 000 kimeneti tokent másodpercenként GPU-nként, 256 kérés/rank mellett, ami felhasználónként közel 100 token/s sebességet jelent. Az előzetes betöltés (prefill) 4 GPU-n futott, míg a dekódolás 64 GPU-n. Az EP8 és EP64 expert párhuzamosság összehasonlításában az EP64 minden batch méretnél jobb eredményt mutatott. A DSpark technológia további 4-7%-os átviteli sebesség növekedést eredményez.

A DeepInfer versenytársaihoz, mint a vLLM, SGLang és TensorRT-LLM, képest egy modellre (DeepSeek-V4.1-Flash) és specifikus hardverekre (NVIDIA SM100, Huawei Ascend 950) fókuszál. Míg a vLLM több mint 200 architektúrát támogat, a DeepInfer a spekulatív dekódolás terén a DSpark-kal, a párhuzamosság terén pedig az EPLB-vel tűnik ki. Azonban a DeepInfer jelenlegi kiadása nem tartalmaz KV cache rendszert, P/D diszaggregációt vagy terheléselosztást, és csak offline inferenciára alkalmas.