Bemutatta a világ legnagyobb nyílt AI-modelljét a Moonshot AI

A Kimi K3 a leghosszabb idejű kódolási feladatokra, végponttól végpontig tartó tudásmunkára és mély következtetésekre lett tervezve. A modell a Together AI-jal szorosan együttműködve került kiszolgálásra, és az Egyesült Államok infrastruktúrájáról fut. A Kimi modellek a kiadásuk óta eltelt tizenkét hónapból kilencben az open-model scale felső határát állították be, így a Kimi K3 lett a valaha kiadott legnagyobb nyílt súlyú modell.

A Kimi K3 architektúrája

A modell gerincét két újítás alkotja: a Kimi Delta Attention (KDA) és az Attention Residuals (AttnRes). A KDA egy hibrid lineáris figyelmi mechanizmus, amely hatékony alapot biztosít a figyelem skálázásához hosszú kontextusokban, lehetővé téve a 1 millió tokenes kontextushossz támogatását. Az AttnRes szelektíven gyűjti a reprezentációkat a modell mélységén keresztül, ahelyett, hogy egyenletesen halmozná őket.

Emellett a Moonshot a Stable LatentMoE keretrendszerrel tovább növelte a Mixture-of-Experts (MoE) sűrítését, amely tokenenként 896 szakértőből mindössze 16-ot aktivál. Ez a szintű sűrítés (körülbelül 2% szakértő aktiválás tokenenként) a kvantilis kiegyensúlyozás (Quantile Balancing), a Per-Head Muon, a Sigmoid Tanh Unit (SiTU) és a Gated MLA technikáival stabil képzést biztosít a 2.8T skálán.

Használat és árazás a Together AI-on

A Kimi K3 az OpenAI-kompatibilis API-n keresztül érhető el a Together AI platformján. A fejlesztők az OpenAI Python SDK-jával használhatják a modellt, amely támogatja az egyedi promptokat, a streaming válaszokat, a látás inputot és a strukturált kimenetet JSON formátumban. A modellel való interakciót a `reasoning_effort` paraméterrel lehet finomhangolni, amely `low`, `high` és `max` szinteket kínál, utóbbi a `max` tokenekkel együtt az alapértelmezett.

A modell használata a Together AI API-n keresztül történik, de a pontos árazási részleteket a kiadvány nem közölte. A Kimi K3 képes több kép feldolgozására is, legfeljebb 100 MB-os kérésmérettel és ajánlott 4K felbontással, míg a strukturált kimenet `json_schema` és `strict: true` paraméterekkel szabályozható.