A Microsoft kutatói egy 31 éves matematikai problémát oldottak meg

A Microsoft Research Focus legújabb epizódjában Anson Ho három területet mutatott be a cég kutatásaiból: az AI-alapú univerzális fordítást, egy régi matematikai problémát és a kódoló AI-agentek hatékonyságát. A forrás szerint az AI fejlődése a Star Trek fiktív univerzális fordítójához hasonló lehetőséget hoz közelebb, bár a kihívások még megmaradtak. A részletekről a Jinyu Li Microsoft-menedzserrel készült beszélgetés szól, amely az Our Digital Life podcastban érhető el.

Megoldották a KLS-sejtést

A KLS-sejtés évtizedekig a nagy dimenziós geometria egyik központi nyitott kérdése volt. A kutatás szerint most megoldódott, ami eltávolít egy jelentős elméleti akadályt a véletlenített algoritmusok hatékonyságának megértésében. Az eredmény log-konkáv eloszlásokra általánosítható elvet mond ki: egyszerű lapos vágások a dimenziótól függetlenül, rögzített tényezőn belül azonosíthatják a legszűkebb szűk keresztmetszeteket. A bizonyítást független validálás erősítette meg, és számítógépes eszközökkel formálisan is ellenőrizték.

Hatékonyabb kódoló AI-agentek

A kódoló agentek hosszú munkamenetekben elérhetik az AI-modell egyszerre feldolgozható információmennyiségének határát, ezért összefoglalják a korábbi lépéseket, ezt nevezik kontextus-tömörítésnek. A forrás szerint egy 13,5 millió kódolási munkamenetet vizsgáló tanulmányban kevesebb mint 8% igényelte ezt a műveletet, mégis ezek tették ki a teljes AI-feldolgozási költség 44%-át.

A kutatók ehhez kidolgozták a COMPACTIONBENCH nevű mérőrendszert, valamint az APEC módszert, amely az összefoglalókat a háttérben készíti el. A kísérletekben az APEC a költségeket legfeljebb 25,4%-kal, a futásidőt 9,6%-kal csökkentette, miközben javította a kódolási teljesítményt.

Tokenizálás 104 nyelven

A modelleknek a szöveget előbb tokenekre kell bontaniuk, és ez a felosztás a hatékonyságot és a teljesítményt is befolyásolja. A Latent Core Tokenizer (LCT) a szavak újrahasznosítható összetevőit azonosítja, mielőtt közös szótárat épít a nyelvek között.

A 104 nyelvet átfogó kiértékelésben nyelvileg értelmesebb tokeneket hozott létre, mint a vezető alternatívák, és négy többnyelvű teljesítményteszten is javította a modell teljesítményét. A kutatók szerint a jobb tokenizáláshoz nem csupán a szöveg tömöríthetősége, hanem a nyelv alapszerkezetének megőrzése is kell, ezt a 104 nyelvet átfogó kiértékelés is alátámasztotta.