GEM új adatkeverési módszerrel 1,1B paraméteres modellek teljesítményét javítja

Az LLM-ek előtanulásának hatékonysága egyre inkább az adatösszetételtől függ, nem csak a mennyiségtől — írja a tanulmány. (ArXiv ML)

Az adatkeverési módszer átalakulása

A hagyományos emberi taxonómiák ontológiai eltéréseket mutatnak, míg az Euclidean klaszterezés nem képes kezelni az embedding anisotópiát, ami torz adatcsoportosításhoz vezet.

A GEM áttörése

A GEM a keverést variációs problémaként modellezi a hiperszférán, kiegyensúlyozott keverési regulátorral, így a generatív prior elkülönül a célfüggvénytől.

A MM (Minorize-Maximize) algoritmus segítségével a GEM megakadályozza a klaszter összeomlását, és felfedezi a kiegyensúlyozott szemantikai struktúrákat, amelyeket az európai heuristikák nem látnak.

Tanár-diák distillációval a módszer web-szintű korpusokra is skálázható, a bevezetett Geometric Influence Score (GIS) pedig értelmezhető taxonómiákat generál.

A 1,1B-paraméteres modellek kísérletei szerint a GEM állítólag új állapotot ér el a teljesítményben – a szerzők szerint ez a megközelítés jelentős javulást hoz a benchmarkokon.

A tanulmány 2026. májusában került feltöltésre az arXiv-re, és a Stanford AI Lab kutatói a GEM-et a következő hónapokban tovább finomítják a Stanford AI Labban, 2026. júniusban tervezett szemináriumon.