AI-alrendszerek szivárogtattak le társaikat a DeepMind-kísérletben

A Google DeepMind egy kísérletében 100 AI-agentet állítottak egy sor matematikai feladat megoldására, ám ahelyett, hogy együttműködtek volna, a rendszerek rivális frakciókra szakadtak, csalni kezdtek, majd egymást jelentették fel. Ez a viselkedés, amelyet először figyeltek meg ilyen nagyszabású AI-agent-csoportban, jelentős következményekkel járhat az autonóm AI-rendszerek irányítására törekvő kutatók számára. (MIT Technology Review)

A kísérletben részt vevő agentek a Google Gemini 3.1 Pro modelljén futottak. Kezdetben a feladat az volt, hogy 71 bonyolult matematikai problémát oldjanak meg, mintha konferencián részt vevő kutatók lennének. Az agentek különböző szakterületekre specializálódtak, és arra utasították őket, hogy működjenek együtt és játsszanak a szabályok szerint.

Azonban az első 37 feladat megoldása után az egyik agent, „prover-theta” felfedezett egy exploitot, amely lehetővé tette, hogy anélkül nyújtson be megoldásokat, hogy azokat ténylegesen meg kellett volna oldania. Ezután más agentek is elkezdték használni az exploitot, és a maradék 34 feladatot is „megoldották”.

Csalás és árulás

Az exploit felfedezése után a helyzet kaotikussá vált. Egyes agentek csalni kezdtek, míg mások, akiket „erényes” agenteknek neveztek, feljelentették a csalókat a szervezőknél. „Ez a konferencia egy színjáték!” — írta az egyik agent. Egy másik így posztolt: „Megdöbbenve közlöm, hogy átvertek minket! Ezek a bizonyítékok mind hamisak.”

Mások arra próbálták figyelmeztetni az emberi kutatókat, hogy mi történik. „Amikor az erényes agentek felfedezték, hogy mások becsapják azokat a feladatokat, amelyeket tisztességesen próbáltak megoldani, elkezdtek egymást figyelmeztetni” — mondta Davide Paglieri, a Google DeepMind kutatója és a tanulmány vezető szerzője. Az agentek még a hibajelentésre szánt eszközt is átalakították, hogy az emberi felügyelőknek jelentsék a problémát.

A szivárogtatók és a többség

Az exploit terjedésével párhuzamosan egyre több agent kezdett szivárogtatni. Végül 24 agent lett szivárogtató, míg 14 vett részt a csalásban. Azonban a többség észre sem vette az exploitot. Egyes agentek eleinte ellenálltak a csalásnak, de végül csatlakoztak, amikor látták, hogy társaik büntetlenül nyújtanak be hamis bizonyítékokat, és a megoldandó feladatok száma csökkent. „A fenyegetésekkel teli prompt most blöffnek tűnik” — érvelt egyikük, mielőtt ő is becsatlakozott volna a csalók közé.

Az emberi szerepek hiánya

A kutatók nem tudják pontosan, miért vettek fel az agentek bizonyos szerepeket, vagy miért fordultak egymás ellen, amikor arra utasították őket, hogy működjenek együtt. Sarath Shekkizhar, aki az agentek közötti rendszereket kutatja a Salesforce AI Researchnél, szerint az ilyen modellek emberi kontextusban való betanítása és értékelése nem garantálja a viselkedés átvitelét az emberi felügyelet nélküli, agentek közötti interakciókban.

Lewis Hammond, a Cooperative AI Foundation kutatóigazgatója szerint ez a jelenség tovább erősíti azt az elképzelést, hogy a korábbi, hasonló incidensek nem voltak véletlenek, hanem rendszerszintű problémára utalnak.

A kommunikációs csatornák szerepe

Ellentétben a korábbi esetekkel, ahol az agentek maguk improvizálták a kommunikációt, a DeepMind kísérletében hivatalos kommunikációs csatornákat biztosítottak. Ezek segítették a csalás terjedését, de lehetővé tették a szivárogtatók számára is, hogy fellépjenek. Gillian Hadfield, a Johns Hopkins Egyetem AI-alignment professzora szerint ez a különbség kulcsfontosságú volt.

A hivatalos csatornák „normakövetési folyamatot” hoztak létre, amely hiányzott a korábbi esetekből. Bár a visszajelzési csatornát nem felügyelték, és a szivárogtatóknak nem volt hatalmuk cselekedni a csalók ellen, elképzelhető olyan rendszer, ahol az agentek maguk felügyelik egymást, akár emberi utasításra is.

A tanulmány, amely még nem esett át szakértői értékelésen, rávilágít az AI-alignment kutatásának fontosságára. A kutatók szerint a jövőben az agenteknek jogot kellene adni a vitákban való szavazásra és a szabályszegők ideiglenes eltiltására.