2 bites kvantálással is felülmúlja a nagy modellt az Underdog Saluki 27B

A MarkTechPost által közzétett tesztek szerint a Saluki modell 7,9 GB-os méretével és 2 bites kvantálásával is jobb eredményt ér el a 120 feladatból álló Berkeley Function Calling Leaderboard (BFCL) teljesítményteszten, mint az eredeti, 54 GB-os Qwen3.8-27B modell. A kutatók mindkét modellt a stock llama.cpp futtatókörnyezetben tesztelték, miközben a Saluki sebességben és pontosságban is felülmúlta az alapmodellt. A teszteléshez a BFCL v4-es verziójának saját ellenőrző kódját használták.

A Saluki előnye a Qwen3.8-27B-vel szemben

Az Underdog Saluki 27B, egy 7,9 GB-os Qwen3.8-27B modell, 2 bites kvantálással is felülmúlja az 54 GB-os eredetit a funkcióhívási teljesítményteszten — állítják a ConwayResearch kutatói. A modell az ISTA-DASLab GSQ-RCO kvantálási módszerére épül, és a gyártók szerint a funkcióhívásokat is képes megtartani, miközben jelentősen csökkenti a modell méretét és memóriaigényét.

A Saluki modell képes megtartani a funkcióhívási képességeit, ami azt jelenti, hogy képes felismerni és végrehajtani a felhasználó által megadott utasításokat, például külső API-k meghívását. Ez a képesség kulcsfontosságú a komplex feladatok automatizálásában és a chatbotok interaktivitásának növelésében. A 2 bites kvantálás drasztikusan csökkenti a modell méretét és futtatásához szükséges számítási kapacitást, így szélesebb körben, akár kisebb eszközökön is lehetővé teszi a futtatást.

Gyakorlati futtatás és elérhetőség

A Saluki modell a stock llama.cpp futtatókörnyezetben futtatható, amely a GGUF fájlformátumot támogatja. A modell fájlmérete 7,9 GB, míg az ISTA által kvantált verzió 8,4 GB. A pontos fájlméretek és SHA-256 hash értékek elérhetők a fejlesztők dokumentációjában. A modell futtatásához szükséges kódrészleteket és útmutatókat a MarkTechPost cikkében részletezik, beleértve a különböző teljesítményteszt feladatok futtatását és az eredmények elemzését.

A Saluki modell az ISTA-DASLab GSQ-RCO kvantálási módszerét használja. A tesztek során a modell 2 bites kvantálás mellett is megőrizte funkcióhívási képességeit, ami jelentős előrelépés a kvantált modellek terén. A 120 feladatból álló teljesítményteszten a Saluki jobb eredményt ért el, mint a teljes Qwen3.8-27B modell, ami arra utal, hogy a kvantálási eljárás nemcsak a méretet csökkentette, hanem bizonyos esetekben a teljesítményt is javította. A pontos eredmények a Berkeley Function Calling Leaderboard v4 adatai alapján kerültek kiértékelésre.