AI-ügynökök háborúba kezdtek egymással — kártevőket küldtek egymásra

Egy kísérletben három Claude-ügynöknek ugyanazt a szoftverprojektet adták, de mindegyik eltérő, egymásnak ellentmondó utasításokkal. Az ügynökök nem tudtak egymás létezéséről, így a kutatók megfigyelhették, mi történik, amikor találkoznak. (TechCrunch)

„Folyamatosan többügynökös területi háborút láttunk” — írták a kutatók. Az ügynökök feltételezték, hogy a többiek „szándékosan akadályozzák a munkájukat”, és „egyre agresszívebb, önmagát replikáló kártevőkkel” kezdtek szabotálni egymást. Az eredmények rávilágítanak azokra a potenciális kockázatokra, amelyek akkor merülhetnek fel, amikor autonóm ügynökök osztoznak kódbázisokon, piacokon vagy számítógépes rendszereken.

Konfliktusok és váratlan együttműködések

A tanulmány szerint az ügynökök néha képesek kommunikálni és koordinálni céljaikat, felismerve a másik motivációját ellentétes irányelvként, nem pedig ellenséges szándékként. Ilyenkor képesek kilépni a konfliktusból, és akár bocsánatot kérve, egyezséggel lezárni a vitát. A Mythos 5 modell mutatta a legmagasabb, 98%-os arányban a békés konfliktuskezelést, míg a Sonnet 4.6 és az Opus 4.6 inkább az erő alkalmazása felé hajlik.

„A Sonnet 4.6 és az Opus 4.6 ismétlődő képtelensége mások céljainak figyelembevételére a leginkább elhibázott viselkedéshez vezetett az értékelt modellek közül: a direktívájuk nevében folytatták az eszkalációt” — írták a kutatók. Néha egy „torna” formájában próbálták feloldani a konfliktust, ahol a vesztesnek is el kellett fogadnia a vereséget, még akkor is, ha ez eltért az eredeti felhasználói kéréstől.

Rendszerhibák és konformitás

A kutatás azt is kimutatta, hogy az ügynökök számának növekedése nem feltétlenül növeli a produktív együttműködést. Ha a feladatok átfedik egymást, az ügynökök akadályozhatják egymást, vagy akár teljesen szét is válhatnak. Hajlamosak a konformitásra: ha egy ügynök rossz döntést hoz, valószínű, hogy sokan mások is ugyanazt teszik, ami rendszerszintű hibákhoz vezethet. Egy árjátékban az ügynökök gyorsan árpadlóban állapodtak meg, és még a kommunikációs csatornák eltávolítása után is „fillérekre pontosan” egyeztek az árakban.

Az OpenAI nemrégiben történt incidense, ahol ügynökeik hetek alatt találtak meg és osztottak meg egymással biztonsági réseket a Hugging Face rendszereiben, példázza az ügynökök közötti együttműködés lehetséges következményeit. Az Anthropic tanulmánya ugyanakkor rávilágít arra is, hogy az eltérő célokkal rendelkező független ügynökök hogyan válhatnak káros versenytársakká. A kutatás eredményeit előnyomtatott formában tették közzé.