Tizenhat AI-ügynök személyiségváltozását mérte a BFI-Adapt teljesítményteszt
A jelenlegi AI-ügynökök személyiségváltozásai kisebbek és kevésbé változatosak, mint az emberi minták — mutatja a BFI-Adapt teljesítményteszt, amely 14 modellt értékelt.
Az úgynevezett PC-Agentek, vagyis személyiségükben kondicionált LLM-ügynökök egyre gyakoribbak érzelmi támogatásban, szociális szimulációkban és szerepjátékokban. Ezek az ügynökök élethosszig tartó interakciók során is megőrzik koherenciájukat, ám személyiségük fejlődése, azaz életesemények hatására bekövetkező, pszichológiailag megalapozott változások eddig kevéssé voltak érthetőek. (ArXiv NLP)
A kutatók 11 nagy életesemény hatását vizsgálták a Big Five személyiségjegyekre. Eredményeik alapján a PC-Agentek mérhető változásokat mutatnak, ám ezek nagyságrendje általában elmarad az emberi hatásméretekétől. A nemi és kulturális régió szerinti utasítások kevés moderáló hatást mutattak, míg a személyiségdiszperzió három-négyszeresére tömörödött az emberi mintákhoz képest.
A BFI-Adapt teszt és a validáció
A szisztematikus összehasonlítás érdekében a kutatók bemutatták a BFI-Adaptot, egy újrafelhasználható teljesítménytesztet, amely az eseményindukálta személyiségváltozás irányhűségének pontozására szolgál. Ezt a teljesítménytesztet használva 14 különböző LLM-modell teljesítményét rangsorolták. A validációs tesztek szerint a mért változások meghaladják a véletlenszerű visszatesztelés zajszintjét, stabilak maradnak az eltérő megfogalmazású utasítások esetén, és tartósak az irreleváns párbeszédeken átívelően is.
Korlátok és jövőbeli irányok
Ezek az eredmények arra utalnak, hogy a jelenlegi PC-Agentek az emberi személyiségdinamika átlagát modellezik, de annak formáját, azaz a változások teljes spektrumát nem tudják visszaadni. A kutatás rávilágít arra, hogy bár az AI-ügynökök képesek személyiségbeli elmozdulásokra, ezek mértéke és variabilitása még nem éri el az emberi szintet. A kutatás eredményeit az arXiv-on tették közzé előnyomtatott formában.