StepFun 600 milliárd paraméteres modellje nyílt súlyokkal érkezik

A StepFun kiadta a Step 5 Preview modellt nyílt súlyokkal. Az FP8 és BF16 ellenőrzőpontok már elérhetők a Hugging Face és a ModelScope platformokon. A Step 5 Preview egy ritka Mixture-of-Experts (MoE) modell, amelyet a StepFun fejlesztett ki hosszú távú ügynöki munkára. (MarkTechPost)

A modell 600 milliárd teljes paraméterrel, tokenenként 27 milliárd aktív paraméterrel és akár 1 millió tokenes kontextussal rendelkezik. A fejlesztők számára ez egy új, önállóan hosztolható lehetőség kódolási ügynökök, dokumentumelemzés és pénzügyi munkafolyamatok számára.

A Step 5 Preview a StepFun zászlóshajó modellje az ügynöki munkához. A StepFun szoftverfejlesztéshez, professzionális tudásmunkához és pénzügyekhez pozicionálja. A modell nagy kódkészleteket navigál, több fájlos változtatásokat koordinál, kódot futtat és iterál az eredményeken. Emellett hosszú dokumentumokat, diagramokat, képernyőképeket és videókat elemez strukturált jelentések előállításához. Az API-t szeptember 20-án indították, a súlyokat pedig október 14-én tették közzé.

Az architektúra 600 milliárd paraméteréből tokenenként csak 27 milliárd aktiválódik. A StepFun technikai csapata szerint a modell 92 transzformer blokkot tartalmaz, keskeny, mély kialakítással. Az elrendezésben a kapuzott csúszóablakos figyelmet (gated sliding-window attention) és a teljes figyelmi rétegeket (full attention layers) 3:1 arányban keverik.

A ritka GQA (Sparse GQA) a teljes figyelmi rétegekben lekérdezésenként 4096 előzmény tokent választ ki, blokkokban értékelve. A spekulatív dekódolás (speculative decoding) egy MTP-3 fejjel nagyjából 30%-os végponttól végpontig tartó sebességnövekedést ígér. A képzés FP8 vegyes precizitással történt, egymillió szintű, ellenőrizhető ügynöki környezeteken végzett RL-lel.

A StepFun saját értékelései szerint a modell kiemelkedik a hosszú kontextusú érvelésben, 88,3%-ot ért el az AA-LCR teszten. A Terminal-Bench 4.0-n 33,3%-ot teljesített, ami elmarad a GLM-5.3 41,9%-os eredményétől. A pénzügyi teszteken, mint a FrontierFinance, 66,4%-ot ért el, ami jobb, mint a GLM-5.3 és a Kimi K3, de elmarad a Claude Opus 5 69,7%-ától. A modell teljesítménye a kódolási feladatokban megközelíti a GLM-5.3 és a Kimi K3 nyílt súlyú modelljeit, de a GPT-6 Astra és a Claude Opus 5 mögött kullog.

A Step 5 Preview futtatásához adatközponti GPU-kra van szükség. Az FP8 ellenőrzőpont önmagában 650,32 GB. Az ajánlott konfigurációk: FP8 esetén 4 db B300 vagy 8 db H200 GPU egy csomóponton, BF16 esetén pedig 8 db B300 vagy 16 db H200 GPU. A StepFun API díjszabása 1,00 dollár 1 millió bemeneti tokenenként és 2,70 dollár 1 millió kimeneti tokenenként. A gyorsítótár (cache) eltalálása 0,10 dollárba kerül 1 millió tokenenként.