276 milliárd paraméteres AI-modell fut egyetlen GPU-n

A Thinking Machines Lab bemutatta az Inkling-Small modellt, egy nyílt forráskódú, multimodális Mixture-of-Experts (MoE) AI-t, amely 276 milliárd teljes és 12 milliárd aktív paraméterrel rendelkezik. Ez körülbelül negyede az eredeti Inkling modell méretének, amely 975 milliárd teljes és 41 milliárd aktív paramétert tartalmazott. (MarkTechPost)

Az új modell képes szöveggel, képekkel és hanggal dolgozni, 1 millió tokenes kontextusablakkal és állítható gondolkodási erővel. Az NVFP4 kvantált checkpointnak köszönhetően a modell mindössze 180 GB VRAM-ot igényel, így egyetlen NVIDIA B300 GPU-n is futtatható, ami jelentősen csökkenti a futtatási költségeket és a hardverigényt. A súlyok Apache 2.0 licenc alatt érhetők el a Hugging Face-en.

Teljesítmény és képességek

Az Inkling-Small több teljesítményteszten is felülmúlja nagyobb elődjét. A Humanity’s Last Exam teszten 31,6%-ot ért el az Inkling 29,7%-ával szemben, az SWE-bench Verified 80,2%-os eredményt mutatott az Inkling 77,6%-ával szemben, a Toolathlon Verified pedig 54,4%-ot, szemben az Inkling 45,5%-ával. Az ARC-AGI-2 teszten 40,1%-ra javult az eredmény az Inkling 36,5%-áról. A modell képes kódgenerálásra, terminálautomatizálásra, dokumentum- és diagramértelmezésre, valamint hangfeldolgozásra, beleértve hívásközpont-analitikát és hangfelismerést.

Multimodalitás és biztonság

A modell natívan dolgozza fel a képeket (40x40 pixeles patch-ekben) és a hangot (16 kHz WAV formátumban, maximum két percig). Az eredmények a multimodalitás, az ismeretelmélet és a biztonság terén is megközelítik az eredeti Inkling teljesítményét. A StrongREJECT teszten 98,4%-os, a FORTRESS benign teszten 96,9%-os eredményt ért el. A Thinking Machines Lab szerint a modell nem hoz lényeges többletet a meglévő nyílt forráskódú ökoszisztémához képest, és javasolják további biztonsági rétegek, mint a Llama Guard alkalmazását.

Az Inkling-Small 2026. augusztus 2-án került bemutatásra, és az Apache 2.0 licenc alatt érhető el.