Kevesebb tokent használ az IBM új AI-memóriarendszere, mint az ACE

Az IBM kutatói bemutatták az ALTK-Evolve nevű új AI-memóriarendszert, amely jelentősen csökkenti az AI-ügynökök által felhasznált tokenek számát, miközben megőrzi vagy javítja a teljesítményt. A rendszer az ügynökök saját múltbeli tapasztalatait használja fel, tömörítés nélkül, hogy megbízhatóbbá tegye azok működését. (Hugging Face)

Az ALTK-Evolve és az ACE (Agentic Context Engineering) rendszerek is az ügynökök múltbeli „trajektóriáiból” tanulnak. Mindkettő „lecke”-ként tárolja a tanultakat, és ezeket használja fel a működés során, súlyfrissítés vagy emberi címkézés nélkül. A két rendszer abban is egyetért, hogy nem szabad tömöríteni ezeket a leckéket, mert ez csökkenti a részletességet.

A memóriakezelés különbségei

Az ALTK-Evolve a hasonló leckéket klaszterekbe rendezi és egyesíti, miközben megőrzi azok „support count”-ját, azaz hogy hány független epizód hozta létre őket. Ez biztosítja, hogy a memória zsugorodása ellenére megmaradjon az információ arról, mennyi tapasztalat áll egy-egy iránymutatás mögött. Emellett az ALTK-Evolve típusos iránymutatásokat (stratégia, helyreállítás, optimalizálás) extrahál, kauzális attribúcióval és származási információval, lehetővé téve az alfeladat-szintű átvitelt egyik alkalmazásból a másikba.

Hatékonyabb szállítás az inference során

Az ACE minden inference lépésnél az egész „playbook”-ot beadja a modellnek. Ezzel szemben az ALTK-Evolve a szállítási folyamatot „szabályozható tárcsának” tekinti: egy kis alapcsomagot küld a legmagasabb support count-tal rendelkező iránymutatásokból, amelyet feladatspecifikusan egészít ki további kiválasztott iránymutatásokkal. Ez drasztikusan csökkenti a felhasznált tokenek számát, különösen gyengébb modellek esetében.

Eredmények és költségcsökkentés

Kilenc szimulált alkalmazáson végzett kísérletek kimutatták, hogy az ALTK-Evolve jelentősen kevesebb tokent használ, mint az ACE, anélkül, hogy a teljesítmény romlana. Egy erősebb modellen az ALTK-Evolve 89,3%-os, míg az ACE 80,4%-os feladat-végrehajtási arányt ért el, mindezt az ACE költségeinek mintegy 40%-áért. Egy gyengébb modellen az ALTK-Evolve 56,0%-os, az ACE pedig 54,8%-os eredményt produkált, ami szinte megegyező pontosságot jelent, de az ALTK-Evolve költsége „mindössze” egyhetede volt az ACE-ének.

Az IBM kutatói a teljes technikai jelentést is közzétették az ALTK-Evolve módszeréről és a kísérleti eredményekről.