3,9 gigabájtos AI-modellt adott ki a PrismML, ami telefonba is belefér

A Bonsai egy ternary verzióban körülbelül 5,9 gigabájt, míg bináris verzióban mindössze 3,9 gigabájtos méretet ér el. Ez utóbbi már a csúcskategóriás okostelefonok memórialimitációjába is belefér. A modell multimodális, támogatja a hosszú kontextust, és megőrizte a Qwen3.6-27B teljes pontosságú verziójának érvelési és eszközhasználati képességeinek jelentős részét. (TheSequence)

Kvantálás és betanítási módszer

A Bonsai nem tekinthető klasszikus értelemben vett desztillációs modellnek. A PrismML inkább a végpontok közötti alacsony bites betanítást és kvantálást hangsúlyozza, szemben a hagyományos teacher-student veszteségfüggvénnyel. A modell inkább egy határterületet képvisel, ahol a desztilláció, a pruning, a kvantálásra érzékeny képzés és a rendszermérnöki megoldások egyetlen gyártási folyamattá olvadnak össze.

Modellcsaládok evolúciója

A modern AI-ban már nem az egyes checkpointok az érdekesek, hanem a származási vonal. Egy úttörő modell felfedez egy képességet, egy kisebb modell pedig megtanulja annak valószínűségi eloszlását. Egy újabb modell átveszi az érvelési mintázatokat, egy pruningolt leszármazott örökli az architektúrát, az alacsony bites verzió pedig csomagolja az eredményt egy eszközhöz. A modellcsaládok így egyre inkább családfákká válnak.

A PrismML a Bonsai 27B modellt a Qwen3.6-27B alapmodellre építve hozta létre.