Bájt-szintű modellekkel versenyképes a Bolmo, Nature-cikkben jelent meg az AI2 kutatása

Az Allen Institute for AI (AI2) Bolmo-modellcsaládja mostantól a Nature folyóirat lektorált cikkében is olvasható — írja az AI2 Share Models blog. A kutatás mögött álló módszert, a byteifyinget a kutatók már kiterjesztették az Olmo-modelleken túl más modellcsaládokra is, és új ellenőrzőpontokat tettek közzé a Hugging Face-en. (Allen AI (AI2))

A legtöbb nyelvmodell nem a szöveget közvetlenül dolgozza fel, hanem előbb szubszó-kra bontja azt, egy rögzített szókincs alapján. Ez a megközelítés jól működik, de korlátozza a modellek rugalmasságát például helyesírási hibák, ritka szavak vagy olyan szövegek kezelésénél, amelyek nem illeszkednek simán az előre meghatározott darabkákra. A bájt-szintű modellek, mint a Bolmo, közvetlenül a szöveg alacsonyabb szintű, bájtokra bontott reprezentációjával dolgoznak, ami javíthatja a finom szerkezetek megértését, a szóközöktől a különböző írásrendszerekig.

A byteifying eljárás lehetővé teszi, hogy meglévő szubszóalapú modelleket rövid további betanítás után versenyképes bájt-szintű modellekké alakítsanak át. Az AI2 szerint a Bolmo 1B és Bolmo 7B modellek az első teljesen nyílt forráskódú bájt-szintű modellek, amelyek versenyképesek a legjobb szubszóalapú modellekkel szemben széles körű feladatokon. A módszert a Qwen 3 8B és a Llama 3 8B modellekre is alkalmazva hozták létre a Bwen 8B és Blama 8B modelleket, amelyek a forrásmodelleikkel megegyező teljesítményt értek el, a Bwen 8B pedig felülmúlta a Bolmo 7B-t az aggregált értékelési szettben.

Alkalmazások és jövőbeli lehetőségek

Fejlesztők és kutatók máris adaptálták a Bolmo modelleket specifikus alkalmazásokra, például a Bolmo 7B finomhangolását orosz–angol költészeti és dalszöveg-fordításra. A bájt-szintű modellezés jövőben alapulhat más adattípusok, mint képek vagy hangok feldolgozása is — bár ez a lehetőség jelenleg még spekulatív.

A Bolmo modellek és a byteifying-módszer teljes nyílt forráskódú megosztásával az AI2 célja, hogy segítse a kutatókat abban, hogy megkérdőjelezzék a mai nyelvmodellekbe épített feltételezéseket, és felfedezzék, mi válik lehetővé, ha ezek a feltételezések megváltoznak. A Bwen 8B és Blama 8B modellek a Hugging Face-en érhetők el.