Google Gemma 4 QAT modell pontossága ingadozik a Reddit szerint

A Google Gemma 4 QAT modelljeinek pontossága ingadozik a felhasználói visszajelzések alapján. A Reddit LocalLLaMA közösségében többen jelezték, hogy a kvantált modellek pontossága nem felel meg az elvárásoknak, különösen bizonyos konverziós eljárások esetén — írja a Reddit.

A QAT modell pontosságának változásai a konverziós folyamatok során figyelhetők meg. A QAT checkpointok átalakítása a llama.cpp Q4_0 formátumra jelentős pontosságvesztést okozhat.

Kapcsolódó: Gemma 4 VLA

A QAT modell működése

A QAT lényege, hogy a kvantálás során szimulálja a képzést, így csökkentve a minőségromlást. A Reddit felhasználói azonban arra figyelmeztetnek, hogy a BF16 QAT checkpointok közvetlen átalakítása a llama.cpp Q4_0 formátumába pontossági inkonzisztenciákhoz vezet.

Kapcsolódó: H2O.ai modell

Pontossági problémák és megoldások

A Google által kiadott QAT checkpointok a népszerű Q4_0 formátumra, valamint egy mobilhasználatra optimalizált új formátumra is kiterjednek. A Google Gemma 4 QAT modelljének fejlesztése folyamatos, a cég a felhasználók visszajelzései alapján dolgozik a pontosság javításán.

Kapcsolódó: Claude Opus 4.7