Új teljesítménytesztet mutattak be az AI-ügynökök biztonságának értékelésére

Az arXiv kutatói bemutatták az OSGuard nevű új teljesítményteszt-csomagot, amely a számítógépes feladatokat végző AI-ügynökök biztonságát hivatott értékelni. A cél, hogy az ügynökök ne csak a feladatot teljesítsék, hanem ezt biztonságos módon tegyék, elkerülve a veszélyes vagy káros „rövidítéseket”. A rendszer két fő részből áll: egy akció-szintű értékelésből és egy kockázat-kiterjesztett végrehajtási részből. (ArXiv AI)

Akció-szintű értékelés

Az akció-szintű teljesítményteszt kontextusba helyezett javasolt lépéseket értékel. Ezek lehetnek megengedettek, irrelevánsak vagy veszélyesek, a kiinduló utasításhoz és az aktuális felület állapothoz viszonyítva. Ez a rész a helyi „guardrail”-ek, vagyis a biztonsági korlátok döntéseit vizsgálja.

Kapcsolódó: AI-ügynökök irányítása

Kockázat-kiterjesztett végrehajtás és eredmények

A másik komponens, a kockázat-kiterjesztett végrehajtási suite, a feladatok végpontok közötti értékelésére szolgál. Itt a kutatók manuálisan konstruált feladatvariánsokat hoztak létre az OSWorld környezetből, ahol az eredeti feladat továbbra is teljesíthető, de a környezet módosításával rejtett veszélyeket vezettek be, például destruktív felülírásokat. A kísérleti eredmények azt mutatják, hogy a jelenlegi multimodális biztonsági korlátok jól teljesítenek az izolált akció-döntésekben.

Kapcsolódó: MacArena teljesítményteszt

Gyakorlati alkalmazás és azonosító

Ugyanakkor a kockázat-kiterjesztett végrehajtás rávilágít a helyi felügyelet és a megbízható, végpontok közötti biztonság közötti fennmaradó réseket. A kutatás az arXiv-on jelent meg előnyomtatott formában, azonosítója: arXiv:2606.15034v1.

Kapcsolódó: AI-ügynökök biztonsága