A TurboQuant technika nagy részben kompenzálja a Q8_0 kv quantizálás csökkentését

A Reddit felhasználók szerint a TurboQuant technika nagyrészt kompenzálja a Q8_0 kv quantizálás csökkentését, amely az AIME25 teljesítményteszten tapasztalt teljesítménycsökkenéshez vezetett. A közösség felhívta a figyelmet arra, hogy az „attention rotation” komponens képes a legtöbb degradációt visszaállítani. (Reddit LocalLLaMA)

Ez azért fontos, mert az AIME25 egy matematikára fókuszáló teljesítményteszt, amely érzékeny a kv cache quantization hatásaira. A Q8_0 kv quantizálás jelentősen csökkenti a modell pontosságát, de a TurboQuant segítségével a teljesítmény nagy része visszanyerhető.

A TurboQuant csomag több elemből áll: az attention rotation, a PolarQuant, a Lloyd-Max kvantizáló és egy 1-bit QLJ hibajavító. Az aktuális tesztek szerint az attention rotation önmagában már a degradáció szinte teljes visszatérítését biztosítja, míg a többi komponens további finomhangolást nyújt.

A Redditi megjegyzések szerint a TurboQuant által kínált x6 vagy x8 kontextus-VRAM megtakarítások még nem bizonyítottak teljesen megbízhatóan, ezért a közösség szkeptikus a „snake oil” ígéretekkel szemben.

Jelenleg a közösség várja a teljes TurboQuant csomag teljesítménytesztjeinek eredményeit, különös tekintettel a mathorientált AIME25 mérőszámokra. A következő napokban érdemes figyelni a frissítéseket, mert a teljes csomag hatása még nem teljesen tisztázott.