Az emberek az időzítésből olvasnak a másikban, az AI-modellek nem alkalmazkodnak
A kutatók 150 résztvevővel és két AI-osztállyal – számítógép-használó agentekkel (CUA) és szöveges promptokra működő nagy nyelvi modellekkel (LLM) – futtatták a The Mind nevű, kommunikációt tiltó kártyajátékot. A tesztelt modellek nem igazodtak hatékonyan a partnerük viselkedéséhez, az emberek viszont igen.
Az emberek társas helyzetekben gyakran az időzítésből következtetnek a másik szándékára, explicit szavak nélkül. Egy új arXiv-preprint szerint ez a képesség az AI-rendszereknél hiányzik. A kutatók 150 embert és két AI-osztályt – számítógép-használó agenteket (CUA-kat) és szöveges promptokra működő nagy nyelvi modelleket (LLM-eket) – vizsgáltak a The Mind nevű kooperatív kártyajátékban, amelyben tilos a kommunikáció, az egyetlen jelzés az idő múlása marad.
Az emberi játékosok stratégiája
A vizsgálat szerint az emberi viselkedést leginkább egy Bayes-stratégia írja le: a játékos a partnere hiedelmeit a várakozási időből következteti ki. Az élvonalbeli modellek – a szerzők szerint – hasonló logikát követnek.
A különbség a játék során mutatkozott meg: a tesztelt modellek nem alkalmazkodtak hatékonyan partnereik viselkedéséhez, míg az emberek igen.
Mit jelent ez az AI-fejlesztésben
A kutatók szerint ez arra utal, hogy az emberek folytonos idejű jelekből implicit valószínűségi következtetést végeznek társas helyzetekben, és ez a mechanizmus valós idejű tapasztalat nélkül is kialakulhat. A szerzők gyakorlati tanulsága: az AI-rendszereknek meg kell tanulniuk értelmezni és követni mások implicit jeleit, ha hatékonyan akarnak együttműködni.
Az eredmények egyelőre előzetesek, a preprint még nem lektorált, és a modellek közötti összehasonlítás pontos számszerű részletei a kivonatból nem derülnek ki. A kutatás 150 résztvevővel készült.