Új teljesítményteszt teszteli a multimodális AI-ügynökök vizuális memóriáját
Az új DMV-Bench teljesítményteszt interaktív módon vizsgálja a multimodális AI-ügynökök vizuális memóriáját, a DualMem architektúra pedig párhuzamos vizuális és verbális kódolással javítaná teljesítményüket.
A Yujin Tang vezette kutatók bemutatták a DMV-Bench nevű új teljesítménytesztet, amely az első interaktív tesztkörnyezet a multimodális AI-ügynökök vizuális memóriájának diagnosztizálására. A korábbi kutatások szinte kizárólag a szöveges memóriára koncentráltak, figyelmen kívül hagyva, hogy egy ügynöknek valójában mire van szüksége ahhoz, hogy emlékezzen arra, amit látott, nem csak arra, amit leírt. A kutatást az arXiv preprint szerverén tették közzé. (ArXiv CV)
A DMV-Bench egy otthoni bútorok e-kereskedelmi katalógusára épül, amely 1000 termékváltozatot tartalmaz. A teszt során az ügynökök egy sor autonóm vásárlási folyamaton mennek keresztül, ahol minden meglátogatott termékképhez egy egyedi, előre renderelt, véletlenszerű vizuális jel (incidental cue) kapcsolódik. Később az ügynököt arra kérik, hogy idézzen fel egy adott jelhez tartozó terméket, és navigáljon annak URL-jéhez. A szöveges szivárgás megakadályozása érdekében a diszkriminatív jel kizárólag a képpontokban található.
Kapcsolódó: térbeli memória benchmark
A kutatók a kettős kódolás elmélete ihlette DualMem nevű memóriarchitectúrát javasolják, amely párhuzamosan tart fenn vizuális és verbális kódot. A DualMem a DMV-Bench teszten jobb eredményt ért el, mint egy egyszerű leírás-alapú módszer, valamint három másik, nemrégiben kifejlesztett multimodális ügynök-memóriarendszer. Ez az előny minden vizsgált lánchosszúság (5, 10, 15 és 50 lépés) esetén fennmaradt mind a Gemini 2.5 Flash, mind a Qwen2.5-VL-7B modelleken.
Kapcsolódó: memória-rendszer nyelvi modellekhez
A DualMem teljesítményelőnye független maradt a memóriabank méretének és az enkódolási pozíció torzításának ellenőrzése mellett is. Az aszimmetrikus kettős kódolási rendszert alkalmazták, ahol a vizuális csatorna végponttól végpontig hordozza a jelet, míg a verbális csatorna kisebb szerepet játszik a lekérdezés-alapozásban. A DualMem architektúra és a DMV-Bench teljesítményteszt a GitHubon is elérhető.
Kapcsolódó: HORIZON teljesítményteszt