Új multimodális AI-ügynököt mutatnak be társasjátékokhoz — videót néz és avatarral kommunikál
A CaM-Wolf nevű új AI-ügynök videóból ismeri fel a játékosok szerepeit társasjátékokban, és animált avatarral kommunikál. A kutatók szerint a modell jobb játékos, mint a korábbi szövegalapú AI-k.
A 3D Agent World kutatócsoportja bemutatta a CaM-Wolf nevű AI-ügynököt, amely képes multimodális észlelésre és generálásra társasjátékokban. A modell célja, hogy közelebb hozza az AI-ügynököket az emberi interakciókhoz, különösen a komplex szociális dinamikát igénylő játékokban, mint például a Farkasember (Werewolf). (ArXiv AI)
A CaM-Wolf feldolgozza a többi játékosról érkező videóbemenetet, és egy okoskodó ok-okozati okfejtőt (causal-aware Reasoner) használ. Ezt a rendszert megerősítéses tanulással (reinforcement learning) tanították be, hogy logikai kapcsolatokat építsen ki a megfigyelhető viselkedés és a rejtett szerepek között. Az ügynök egy animált avataron keresztül kommunikál, ami emberibb jelenlétet biztosít az interakciók során.
A kutatók által végzett kísérletek és felhasználói felmérések azt mutatják, hogy a CaM-Wolf jobb játékos teljesítményt nyújt a korábbi, csak szöveges ügynökökkel szemben. Emellett javítja az ember-AI interakciók minőségét is, ami jelentős előrelépés a valósághűbb AI-ügynökök létrehozása felé. A projekt kódja elérhető egy nyilvános adattárban.
A CaM-Wolf megalkotói szerint a modell képességei ígéretesek az emberi viselkedés árnyaltabb megértése és modellezése terén. Bár a kutatás eredményei biztatóak, a módszer általánosíthatósága más játékokra vagy valós társas interakciókra még nem bizonyított. A kutatók a modell teljesítményét az arXiv:2607.26393v1 előnyomtatott formában tették közzé.