Hét stratégia dönti el, melyik expert dolgozza fel a tokent a MoE-modellekben

A Mixture-of-Experts (MoE) modellekben minden token előtt ugyanaz a kérdés áll: mely expertek dolgozzák fel. A választ a router adja meg. A router minden expertet pontoz, megtartja a legjobb jelölteket, majd súlyozza a kimenetüket. Csak a kiválasztott expertek futnak le. A Mixtral 8x7B például tokenenként 47 milliárd paraméterhez fér hozzá, de csak 13 milliárd aktív paraméterrel dolgozik, írja a MarkTechPost.

Hét stratégia a gyakorlatban

Az első és legelterjedtebb a softmax top-k token-választás. Minden token pontozza az összes expertet, és a k legjobbat tartja meg. A Mixtral 8 közül kettőt választ, a gpt-oss-120b 128 közül négyet, a Qwen3-235B-A22B 128 közül nyolcat. Egy segédveszteség általában egyenletesen tartja az expertek terhelését.

A Switch Transformer megmutatta, hogy tokenenként egyetlen expert is megőrzi a minőséget, és csökkenti a router számítási igényét. Minden expert fix méretű pufferrel dolgozik, a túlcsorduló tokenek pedig a reziduális kapcsolaton keresztül kihagyják a réteget. A Llama 4 Maverick is egy routolt experthez küldi a tokent, de mellette van egy megosztott expert is.

A DeepSeekMoE rétegenként állandóan aktív megosztott expertet és ritkán routolt expertet használ. A megosztott expert a közös tudást hordozza, így a routolt expertek specializálódhatnak. A DeepSeek-V3 egy megosztott és 256 routolt experttel dolgozik, tokenenként nyolcat aktiválva. A Kimi K2, a GLM-4.5 és a Qwen3.6-35B-A3B ugyanezt a mintát követi. A Qwen3 viszont eltávolította a megosztott expertet.

A DeepSeek-V3 softmax helyett sigmoid pontozást használ, és csak a top-k kiválasztásakor ad minden experthez egy bias-t. Minden lépés után a túlterhelt expertek bias-a csökken, a kihasználatlanoké nő. A keverési súlyok továbbra is a nyers pontszámokból származnak. A GLM-4.5 veszteség nélküli kiegyensúlyozást használ sigmoid kapukkal, a DeepSeek-V4 pedig sqrtsoftplus pontozásra vált, de megtartja a biasalapú kiegyensúlyozást.

Több csomópontra küldeni egy tokent drága. A DeepSeek-V3 tokenenként legfeljebb négy csomópontra engedi a routolást, a legmagasabb affinitású csomópontokat választva. A DeepSeek szerint ez a korlát szinte teljesen átfedésbe hozza a tanítás számítását és kommunikációját. A Kimi K2 ezt a csoportosítást teljesen elhagyja.

A Google expert choice routingja megfordítja az irányt: minden expert a neki legjobb k tokent választja ki, így fix méretű lesz a bucket. A tokenek változó számú experthez kerülhetnek. A közlemény több mint kétszeres tanítási konvergenciagyorsulást jelent. A gond az oksággal van: egy token expertje függhet későbbi tokenektől. A DeepSeek kutatói ebből körülbelül 10 százalékos, rendellenes veszteségcsökkenést mértek.

A hash-routing a token azonosítójából rendeli az expertet, tanult router nélkül. A DeepSeek-V4 első három MoE-rétegében használ hash-routingot. A dinamikus top-k pedig tokenenként változtatja az aktív expertek számát; az SMIDT ezt a SGLang-ba építette be, és a P99 time-to-first-token mutatót 1,21–1,26-szorosára javította.

Melyik stratégia mikor jó?

A legtöbb csapat nem választ routert, hanem egy checkpoint kiválasztásakor örökli azt. Szervírozás előtt érdemes a config.json négy mezőjét megnézni: az expertek számát, a tokenenként aktív expertek számát, a megosztott expertek meglétét és a topk_method értékét. A top-k módosítása inferenciakor magát a modellt változtatja meg, ezért ezt minőségi kísérletként kell kezelni. Új előtanítási futtatásnál a sigmoid pontozás biasalapú kiegyensúlyozással a nyílt MoE-modellek jelenlegi alapértelmezése.

A DeepSeek-V4 hash-routinga mellett a teljes részletek nem minden tekintetben ismertek a forrásban. Az expert choice veszteségcsökkenéséről szóló 10 százalékos adat egyetlen teszten alapul, ezért általánosíthatósága nem bizonyított.