10 billió paraméteres AI-modellt fejleszt a ByteDance — az Anthropicot célozza

A kínai techcég, a ByteDance egy gigantikus, akár 10 billió paraméteres mesterségesintelligencia-modell előképzését kezdi, hogy felvegye a versenyt az amerikai Anthropic legfejlettebb, Mythos 5-ös rendszerével. A modell mérete háromszorosa lehet a kínai Moonshot Kimi K3-as modelljének, amely eddig a legnagyobb kínai modellnek számított — írja a Financial Times három, a fejlesztésben jártas forrásra hivatkozva. (Ars Technica)

Az előképzés, amely a modell kapacitásának alapjait rakja le, általában három-hat hónapig tart, mielőtt a finomhangolás és a végleges kiadás következne. A pontos paramétermennyiség csak később dől el. Bár az Anthropic nem hozza nyilvánosságra modelljeinek méretét, iparági becslések szerint a Mythos 5 mintegy 8 billió, míg a Fable 5 körülbelül 5 billió paraméteres lehet. A paraméterek száma alapvetően meghatározza a modell információtárolási képességét, de a tényleges teljesítmény más tényezőktől is függ, mint az adatok minősége és a képzési módszerek.

A ByteDance törekvései jól mutatják a kínai laboratóriumok ambícióját, hogy ne csak utolérjék, hanem le is hagyják az amerikai riválisokat a legfejlettebb AI-technológiák terén. Kína más modelljei, mint a Moonshot és az Alibaba fejlesztései, már most erős teljesítményt mutatnak a benchmarkokon, bizonyos területeken csak az Anthropic Fable 5-ös modellje előzi meg őket. Az Anthropic legfejlettebb modellje, a Mythos 5, júniusi biztonsági aggályok miatti ideiglenes tiltás után jelenleg csak jóváhagyott szervezetek számára érhető el.

A ByteDance stratégiája

A TikTok anyavállalata, a ByteDance eddig viszonylag alacsony profilt tartott AI-fejlesztései terén, mivel modelljei nagyrészt zártak, ellentétben számos kínai versenytársukkal. Legújabb, SeeDance nevű videogeneráló modelljük globálisan is az élvonalba tartozik, míg zászlóshajó fogyasztói modelljük, a Doubao, 324 millió havi aktív felhasználójával a legnépszerűbb Kínában.

Nagyobb csapat, független fejlesztés

Az elmúlt három évben a ByteDance agresszívebben fektetett be az AI-ba, mint bármelyik más kínai techóriás, bővítve adatközpont-hálózatát és kutatókat szerződtetve. Felkarolták felhős egységüket, a Volcano Engine-t is, amely vállalati ügyfeleknek kínál AI-megoldásokat. A cég emellett saját AI-chipek fejlesztésére is törekszik. A Seed nevű, Wu Yonghui, korábbi Google DeepMind kutató által vezetett modellfejlesztő csapatuk mintegy 2000 tagot számlál Kínában és külföldön, magában foglalva kutatókat, mérnököket, fordítókat és adatcímkéző szakembereket. Fejlesztési megközelítésük független, nem alkalmazzák más laborok modelljeinek „desztillálását”, ami egyes vélemények szerint lassabb fejlődést eredményezett riválisaikhoz képest.

Világvezető képességek a cél

A ByteDance vezetése, élén Zhang Yiming alapítóval, úgy véli, hogy csak a független fejlesztés eredményezhet a riválisokat felülmúló modellt. Zhang két hete egy belső megbeszélésen is megerősítette ezt a nézetét, hangsúlyozva a Seed csapatának, hogy hosszú távon „világvezető modellképességekre” törekedjenek, anélkül, hogy túlzottan aggódnának a rövid távú lemaradás miatt. A kínai média, a Latepost és a The Information számolt be először Zhang ezen kijelentéseiről. A ByteDance nem reagált a megkeresésünkre.