22 millió dollárt nyert naponta a DeepSeek új AI-gyorsítója

A DeepInfer a DeepSeek-V4.1-Flash modell betanítását és futtatását teszi lehetővé, és a cég becslésein alapuló számítások szerint a beruházás 81 nap alatt térülhet meg. A rendszer 96%-os input-cache-találati arányt ér el, és másodpercenként 1,5 millió cache-inclusive input tokent képes kezelni előre betöltő GPU-nként, míg dekódoláskor másodpercenként 14 ezer kimeneti tokent biztosít mintegy 2400 GPU-s klaszteren. (Latent Space)

Platformok és integrációk

A DeepInfer támogatja az NVIDIA és a Huawei Ascend platformokat, valamint olyan funkciókat, mint a spekulatív dekódolás, az SWA Bounded Replay és a strukturált kimenet. A DeepSeek saját fejlesztésű, optimalizált KV-gyorsítótárát és terheléselosztási megoldásait is integrálta, amelyek jelentősen növelik a teljesítményt.

Architektúra és nyílt forrás státusz

A DeepSeek DeepInfer egyedi megoldásai, mint például a cache-kezelés és a terheléselosztás, még nem teljesen nyílt forráskódúak, mivel szorosan kapcsolódnak a cég belső infrastruktúrájához. A vLLM csapata szerint a DeepInfer által publikált eredmények 6%-os eltéréssel megközelíthetők a saját motorjukkal, ami arra utal, hogy a DeepSeek hatékonysága nem feltétlenül elérhetetlen más nyílt forráskódú megoldások számára.

A DeepInfer architektúrája különálló szakaszokra bontja a folyamatot: a képfeldolgozást, az előre betöltést (prefill) és a dekódolást. Az előre betöltés során a számítási erőforrásokat a becsült számítási költség alapján osztják el, nem csupán a kéréshossz alapján. A dekódolás pedig figyelembe veszi a futó kérések számát és a KV-gyorsítótár hosszát is, ami optimalizálja a memória- és állapotnyomást. A rendszer napi 155 billió token feldolgozására képes, miközben 80%-os árréssel 22 millió dollár bevételt generál.