Liquid AI új kvantálási módszere 97%-os pontosságot tart meg a modelleknél

A Liquid AI ma kiadta a LFM2.5 modellek frissített, 4-bites kvantált ellenőrzőpontjait, amelyeket Quantization-Aware Distillation (QAD) eljárással fejlesztettek. Az új QAD Q4_0 GGUF fájlok lehetővé teszik a fejlesztők számára, hogy a LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct és LFM2.5-2.6B modelleket alacsonyabb memóriahasználat és nagyobb sebesség mellett futtassák, anélkül, hogy a minőség jelentősen romlana.

A QAD módszer lényege, hogy egy nagy pontosságú tanár modellből desztillálják a kvantált tanítvány modellt. Ezáltal az új checkpointok ugyanazt az alacsony memóriafoglalatot és magas átviteli sebességet biztosítják, mint a natív Q4_0 GGUF-ok, miközben a kvantálás során elvesztett BF16 pontosság körülbelül 97%-át állítják helyre. A Liquid AI közlése szerint a LFM2.5 modellek esetében ez 97,1%, 96,5%, 97,4% és 96,6%-os teljesítményt jelent a BF16 alapvonalhoz képest.

Sebesség és méret edge hardveren

A sebességtesztek MacBook Pro, NucBox EVO-X2, Samsung Galaxy S26 Ultra és Raspberry Pi 5 eszközökön zajlottak. A 230M és 350M QAD Q4_0 checkpointok a Q5_K_M minőséget hozták, miközben 4-33%-kal nagyobb dekódolási sebességet értek el. A nagyobb, 1.2B és 2.6B modellek esetében a Q4_K_M minőséget tartották, 3-14%-kal gyorsabb átviteli sebesség mellett. Ezek az eredmények felveszik a versenyt külső, utólagos kvantálási módszerekkel, mint például az Unsloth UD-Q4_K_XL.

Használat és elérhetőség

A QAD GGUF fájlok a Hugging Face platformon érhetők el, és a llama.cpp vagy más GGUF Q4_0 kompatibilis futtatókörnyezetekkel használhatók. A Liquid AI blogbejegyzése szerint a fejlesztők már ma elkezdhetik használni az új modelleket, és a cég izgatottan várja, milyen újításokat hoznak létre velük. A cikk 2026 augusztusában jelent meg.