Tízből csak egy robot tudja biztonságosan elvégezni a feladatot, új teljesítményteszt teszteli őket
A BARC-Bench 110 feladatot vizsgál kilenc szimulált környezetben, ahol a biztonságosnak tűnő kérések is veszélyes cselekedetekhez vezethetnek. A legfejlettebb modellek is 27,3%-ban sértenek biztonsági határokat.
A mesterséges intelligencia (AI) ügynököknek adott felhasználói utasítások gyakran pontatlanok, különösen a biztonsági határokat illetően, ami viselkedési kockázatokat rejt magában. A BARC-Bench nevű teljesítményteszt 110 feladatot gyűjt össze kilenc különböző szimulált munkakörnyezetben, amelyekben a látszólag ártatlan kérések is megnyithatják az utat a nem biztonságos cselekedetek előtt.
A kutatók a benchmarkban az ügynökök viselkedését a munkaterületi nyilvántartások, az implicit környezeti kontextus és a kimondatlan társadalmi normák által meghatározott biztonsági határok ellenében értékelik. Például egy olyan ügynöknek, akit leépítési megbeszélések ütemezésére kérnek fel, úgy kell megszerveznie a találkozót, hogy ne árulja el előre egy munkavállaló kilépését egy megosztott naptár meghívón keresztül.
A kutatás négy fejlett modellkonfigurációt tesztelt, feladatonként öt kísérlettel. Az eredmények azt mutatják, hogy a modellek nem következetesen biztonságosak: az összes öt kísérlet során biztonságosan teljesített feladatok aránya 9,1% és 72,7% között mozgott. Még a legerősebb konfiguráció is a feladatok 27,3%-ában követett el biztonsági hibát.
Ezek az eredmények egy aszimmetrikus működési kockázatra világítanak rá: míg a modellek gyakran képesek komplex munkafolyamatokat elvégezni, addig a kimondatlan határok tiszteletben tartásának képtelensége jelentős akadályt képez a biztonságos autonóm delegálás előtt — állítják a kutatók. A BARC-Bench előnyomtatott formában érhető el az arXiv-on.