Tizenhat AI-agent személyiségváltozását mérte a BFI-Adapt teljesítményteszt
A jelenlegi AI-agentek személyiségváltozásai kisebbek és kevésbé változatosak, mint az emberi minták — mutatja a BFI-Adapt teljesítményteszt, amely 14 modellt értékelt.
Az úgynevezett PC-Agentek, vagyis személyiségükben kondicionált LLM-agentek egyre gyakoribbak érzelmi támogatásban, szociális szimulációkban és szerepjátékokban. Ezek az agentek élethosszig tartó interakciók során is megőrzik koherenciájukat, ám személyiségük fejlődése, azaz életesemények hatására bekövetkező, pszichológiailag megalapozott változások eddig kevéssé voltak érthetőek. (arXiv)
A kutatók 11 nagy életesemény hatását vizsgálták a Big Five személyiségjegyekre. Eredményeik alapján a PC-Agentek mérhető változásokat mutatnak, ám ezek nagyságrendje általában elmarad az emberi hatásméretekétől. A nemi és kulturális régió szerinti utasítások kevés moderáló hatást mutattak, míg a személyiségdiszperzió három-négyszeresére tömörödött az emberi mintákhoz képest.
A BFI-Adapt teszt és a validáció
A szisztematikus összehasonlítás érdekében a kutatók bemutatták a BFI-Adaptot, egy újrafelhasználható teljesítménytesztet, amely az eseményindukálta személyiségváltozás irányhűségének pontozására szolgál. Ezt a teljesítménytesztet használva 14 különböző LLM-modell teljesítményét rangsorolták. A validációs tesztek szerint a mért változások meghaladják a véletlenszerű visszatesztelés zajszintjét, stabilak maradnak az eltérő megfogalmazású utasítások esetén, és tartósak az irreleváns párbeszédeken átívelően is.
Korlátok és jövőbeli irányok
Ezek az eredmények arra utalnak, hogy a jelenlegi PC-Agentek az emberi személyiségdinamika átlagát modellezik, de annak formáját, azaz a változások teljes spektrumát nem tudják visszaadni. A kutatás rávilágít arra, hogy bár az AI-agentek képesek személyiségbeli elmozdulásokra, ezek mértéke és variabilitása még nem éri el az emberi szintet. A kutatás eredményeit az arXiv-on tették közzé előnyomtatott formában.