DeepSeek-V4-Flash-0731 új kvantálása jobb KLD-t és 1,4x sebességet hoz
A DeepSeek-V4-Flash-0731 új, IQ3-as kvantálása jobb KLD-t és 1,4x sebességet kínál a korábbi verziókhoz képest, miközben a modell mérete is nőtt.
A TacoTakumi által végzett DeepSeek-V4-Flash-0731 modell átkvantálása az IQ3_XXS és IQ3_S precizitási szintekre új eredményeket hozott a minőség és sebesség terén. A fejlesztő a modell 129 útválasztott szakértő tenzorát kvantálta újra, míg a többi tenzor eredeti pontosságát — Q8_0/BF16/F32 — megtartotta. Az új modell 111,37 GiB méretű, négy shardban érhető el, és a HuggingFace-en tölthető le. (Reddit LocalLLaMA)
A minőség mérésére a szerző a perplexity KLD-t használta a korábbi UD-IQ3_S modellel összehasonlítva. Az új kvantálás átlagos KLD értéke 0,2386 lett, szemben az UD-IQ3_S 0,2936-os értékével. A top-1 egyezés 84,65%-ra, a delta perplexity pedig +0,536-ra javult, ami jobb eredményeket mutat a korábbi verziónál.
A sebességtesztek egy vegyes, 5 GPU-s (2x 3090, 5060 Ti, 2x 4060 Ti, összesen 96 GiB VRAM) konfiguráción zajlottak, ahol a szakértők a RAM-ba íródtak át. Itt a dekódolási sebesség 13,91 / 13,57 / 13,26 token/másodperc volt 0 / 4096 / 16384 mélységen, ami körülbelül 1,4-szeres gyorsulást jelent az UD-IQ3_S-hez képest ugyanezen a hardveren. Azonban az új modell 2,12 GiB-vel nagyobb lett, és az UD-IQ3_S jobb maximális KLD-értéket mutatott (11,13 vs. 12,53).