280 milliárd paraméteres nyílt AI-modellt adott ki a Baidu, ERNIE 5.5 Flash Base
A fejlesztőknek nyújtott alapmodellt úgy tervezték, hogy akár egymillió tokenes kontextust is kezelni tudjon, miközben a finomhangolt változat megjelenése még várat magára.
A Baidu kiadta az ERNIE 5.5 Flash Base modellt, egy 280 milliárd paraméteres alapmodellt, amely nyílt forráskódúként érhető el. A kínai vállalat szándékosan finomhangolás és utólagos betanítás nélkül adta ki a modellt, fejlesztőkre bízva annak további felhasználását. Egy utólag betanított változat később várhatóan elérhetővé válik. (The Decoder)
Az ERNIE 5.5 Mixture-of-Experts architektúrát használ, 280 milliárd paraméterrel, melyből 14 milliárd aktív minden bemenetnél. A modellt 33,5 billió tokenen tanították elő, 128 000 tokenes kontextushosszal. Azonban úgy tervezték, hogy finomhangolás és következtetés során akár 1 millió tokenes kontextust is támogasson.
A Baidu saját értékelése szerint az ERNIE 5.5 Flash Base versenyképes a hasonló méretű nyílt alapmodellekkel, mint a DeepSeek-V4-Flash-Base, a Hy3-preview-Base és a MiMo-V2.5-Base. Ezt több feladatkategóriában, köztük vizsgán, STEM, érvelés, tudás, kódolás, többnyelvűség és hosszú kontextusok terén mérték.
A modell súlyai elérhetők a Hugging Face platformon FP8 és BF16 pontossági formátumban. A Baidu blogbejegyzése szerint a modell a fejlesztők kezébe kerül, hogy eldöntsék, hogyan használják fel.