A Bonsai-8B 14-szer kisebb, mint a standard Llama modell
Az új 1-bit Bonsai-8B modell mindössze 1,15 GB-ot foglal, ami 14-szer kisebb a hagyományos 16 GB-os Llama 3-nál, miközben a teljesítmény 70,5-ös pontszámmal megegyezik.
A PrismML új 1-bit Bonsai-8B LLM 14-szer kisebb, mint a hagyományos Llama 3 modell, és a méret csökkenés mellett a teljesítmény is megmarad. A 16 GB-nyi standard 8B modell helyett a Bonsai-8B csak 1,15 GB-t foglal, miközben az átlagos teljesítményteszt pontszága 70,5, ami megegyezik a teljes pontosságú 8B modellek eredményeivel. (Reddit LocalLLaMA)
Az új modell 136 token/perc sebességgel fut az Apple M4 Pro Mac-en, szemben a 17 token/perc sebességgel, amit a 16-bit Llama 3 kínál. Ez azt jelenti, hogy egyetlen eszközön a felhasználók akár nyolc-szor gyorsabban futtathatják a nyelvi feladatokat, miközben a tárhelyigény a tizedik részre csökken.
Az 1-bit Bonsai-8B az MLX keretrendszerrel fut natív módon Apple eszközökön, és a llama.cpp CUDA támogatással is elérhető NVIDIA GPU-kon. A modell súlyai Apache 2.0 licenccel érhetők el, így a fejlesztők szabadon módosíthatják és terjeszthetik őket.
Az ilyen méretcsökkentés és sebességnövelés lehetővé teszi, hogy a kis erőforrású eszközök is komplex nyelvi feldolgozást végezzenek, ami új lehetőségeket nyit a mobil és beágyazott alkalmazások számára. A teljesítményteszt eredmények alapján az 1-bit Bonsai-8B versenyképes, miközben jelentősen csökkenti a tárolási és számítási költségeket.
Mi a következő lépés? A PrismML a következő frissítésben az 1-bit Bonsai-8B-t bővíti további, többnyelvű képességekkel, így a modell nemcsak méretben, hanem funkcionalitásban is közelebb kerül a teljes 8B LLM-ekhez.