A TurboQuant Pythonban: 5x tömörítés 99,5%-os minőséggel

A TheTom által készített turboquant-py Python implementáció már 5-szoros tömörítést tesz lehetővé, miközben a minőség 99,5 %-os marad. A kódrészlet a GitHubon érhető el, és a dokumentáció szerint a TurboQuant és a QJL vektor-tömörítés algoritmusait használja. (Reddit ML)

Ez a fejlesztés jelentős lépés a mélytanulási modellek méretének csökkentésében. Az 5× tömörítés azt jelenti, hogy egy 4 GB méretű Qwen3-1.7B modell KV-tensorja most már körülbelül 800 MB helyre kerül, anélkül, hogy a predikciós pontosság jelentős romlását tapasztalnánk.

A turboquant-py a TurboQuant elméleti alapjaira épül, amely a kódszámítási költség és a torzítás közötti optimális egyensúlyt célozza. A Python-ban írt implementáció a C++-al szemben könnyebb integrációt tesz lehetővé, miközben a QJL algoritmus révén a szűkítési arányt finomhangolható.

A GitHub repóban található demo szkriptet a "benchmarks/demo.py" fájl futtatásával lehet futtatni. A "validate_real_model.py" teszt a Qwen3-1.7B modell KV-tensorszámítását ellenőrzi, és kimutatta a 99,5 %-os minőség megtartását.

A jövőben a közösség várhatóan további portokat hoz létre, például a llama.cpp-be való integrációt, ahol a turbo3 és turbo4 kv-cache típusok 4,9× és 3,8× tömörítést kínálnak. A kód nyílt forráskódú, ezért a fejlesztők szabadon módosíthatják és bővíthetik a funkcionalitást.