A PolarQuant 98%-ban javítja a minőséget Hadamard-rotációval
A PolarQuant módszer a Qwen3.5-9B modell esetén a perplexity értéket 6.90-ről 6.40-re csökkentette, miközben a Hadamard-rotáció a teljes hatás 98%-át adja, és az eljárás teljesen utólagos, kalibrációs adat nélkül működik.
A PolarQuant módszer 98% –ban javítja a minőséget. A Hadamard-rotáció önmagában a teljes hatás 98%-át teszi ki, a Qwen3.5-9B perplexity értéke 6.90-ről 6.40-re csökken, ami az FP16-hez képest +0.03 ponttal egyezik meg. (ArXiv NLP)
PolarQuant három szakaszban működik: először blokkonként normalizálja a súlyokat az unit hypersphere-re, majd a Walsh–Hadamard forgatással Gauss-szerű koordinátákat hoz létre, végül a Gauss-eloszlásra illesztett centroidekkel kvantálja. Az eljárás teljesen utólagos, nincs szükség kalibrációs adatra.
A Hadamard-rotáció hatása a kvantálás előtti normalizálást erősíti, így a súlyblokkok eloszlása közelít a normál eloszláshoz, ami a kvantálási hibát jelentősen csökkenti. A 6.40 perplexity a Qwen3.5-9B esetében praktikus, veszteségmentes kompressziót jelent.
PolarQuant továbbá hatékony előfeldolgozó a 4-bit INT4 kvantálók számára: PolarQuant Q5–ből torchao INT4-re rekvantálva 6.56 perplexity-t ér el, míg közvetlen absmax INT4 6.68-at ad. Ez azt mutatja, hogy a PolarQuant egy lépés előrébb visz az LLM kvantálásában.
Mi lesz a következő lépés? A PolarQuant most demonstrálva lett a Qwen3.5-9B esetén, de a kutatók a 4-bit turboquant és más LLM-ekre is terjesztik a módszert, hogy a mélyebb kompresszió mellett is fenntartsák a teljesítményt.