Nace AI 27 milliárd paraméteres döntési modellje, a Drex Max v1, már Macen is fut

A Nace AI kiadta a Drex Max v1 modellt nyílt súlyokkal. Ez a cég legfejlettebb döntési modellje, amely mostantól helyi gépeken is futtatható. A kiadás bf16 súlyokat, Q8_0 GGUF, affine Q4 checkpointot, valamint llama.cpp és Ollama forkokat tartalmaz. A fejlesztők számára a Drex Max nyílt súlyai azt jelentik, hogy az útvonalválasztás, osztályozás és szabályellenőrzések helyi gépen maradhatnak. (MarkTechPost)

A Drex Max sűrű, 27 milliárd paraméteres architektúrával rendelkezik, és akár 262 144 tokenes kontextusablakot is képes kezelni, alapértelmezetten 16 384 tokennel. Kérdésenként legfeljebb 255 válaszlehetőséget támogat. A modell futtatható NVIDIA GPU-kon (H100 bf16 vagy L40S 48 GB 8-bites módban), valamint Apple Silicon Mac-eken 24 GB+ memóriával (affine Q4) vagy 48 GB memóriával (Q8_0 GGUF). CPU-n keresztül llama.cpp és Ollama segítségével is futtatható.

A Nace AI által önbevallottan közölt eredmények szerint a modell 67,52 pontot ért el a nyilvános Decision Index 0.4 teszten, ami 6,27 ponttal múlja felül a Drex v2.0 előző verziót. A legjobb képességpontszáma 97,3 az InfographicVQA feladatban, míg az eszközhasználati területen 81,9 pontot ért el. A modell képes szöveges, JSON vagy képi bemeneteket feldolgozni, és minden kérdésre egyetlen előrehaladási körben ad valószínűségi választ.

A Drex Max helyi futtatásához a Nace AI ötféle futtatókörnyezetet dokumentál, amelyek mind ugyanazt a POST /v1/systemone API-t szolgálják. Ezek közé tartozik az NVIDIA GPU-khoz készült Python-környezet, a llama.cpp és Ollama forkok Apple Metal és CPU támogatással, valamint a Kapitsa v0.2.25+ és MLX futtatók Apple Siliconhoz. Az affine Q4 checkpoint 24 GB vagy több memóriával rendelkező Mac-ekhez készült, míg a Q8_0 GGUF 48 GB memóriát igényel.

A Nace AI tesztjei szerint a kvantálás minősége megmarad. Egy 48 GB-os Apple M5 Pro gépen a Q8_0 GGUF változat 0,02-es eltéréssel megegyezett a H100 bf16 teljesítményével, míg az affine Q4 0,0329-es eltéréssel maradt el a Q8_0-tól, választási eltérés nélkül. A Drex Max v1 27 milliárd paraméterével és a 262 144 tokenes kontextusablakával felülmúlja elődeit, mint a Drex v2.0 (35 milliárd paraméter, 131 072 token) és a Jev 1.13.0.

A Drex Max v1 súlyai mostantól a Nace.AI Open RAIL-M licenc alatt nyilvánosak. Az önbevallott 67,52-es Decision Index 0.4 pontszámával felülmúlja a Drex v2.0 61,25-ös eredményét. A 4-bites változat 24 GB-os Apple Silicon Mac-eken futtatható Kapitsa vagy MLX segítségével. A Q8_0 változat egy M5 Pro gépen 0,02-es eltéréssel megegyezett a H100 bf16 teljesítményével. A helyi Mac és CPU futtatási útvonalak jelenleg csak szöveges bemenetet támogatnak.