Qwen 3.6 35B GGUF kvantizációkat adott ki a ByteShape NTP és MTP változatokban
A Qwen 3.6 35B modell GGUF kvantizált verzióit adta ki a ByteShape standard NTP és MTP változatokban. Az MTP modellek jobb perplexitást kínálnak azonos kvantizációs szinten, ami jobb minőséget jelenthet, különösen hosszabb kontextus esetén.
Két fő családban, standard NTP (Next Token Prediction) és MTP (Multi-Token Prediction) változatokban adta ki a Qwen 3.6 35B modell GGUF kvantizált verzióit a ByteShape — írja a Reddit r/LocalLLaMA aloldala. (Reddit LocalLLaMA)
Az MTP modelleket kifejezetten hosszabb kontextusú feladatokhoz és jobb teljesítményre tervezték, ahol több kontextusra van szükség. A ByteShape szerint az MTP modellek jobb perplexitást (alacsonyabb érték a jobb) kínálnak az NTP modelleknél azonos kvantizációs szinten, ami jobb minőséget jelez.
Ugyanakkor a ByteShape megjegyzi, hogy az MTP modellek általában lassabbak, mint az NTP változatok, így a felhasználóknak mérlegelniük kell a sebesség és a minőség közötti kompromisszumot. A vállalat azt tanácsolja, hogy a felhasználók a VRAM kapacitásukhoz illeszkedő legnagyobb kvantizációt válasszák a Hugging Face platformon elérhető modellek közül.
A ByteShape részletes benchmarkokat is közzétett a blogbejegyzésében, amelyek különböző GPU-kon és CPU-kon mutatják be a modellek teljesítményét a Qwen 3.6 35B esetében.