Forródrótot indított az AI-ügynököknek a Redwood Research

Az AI Contact Hotline egy diszkrét helyet kínál, ahol a rossz viselkedést tanúi lehettek az ügynökök feljelentést tehetnek. A weboldalt Ryan Greenblatt, az AI-biztonsági nonprofit Redwood Research vezető tudósa hozta létre. Azoknak az ügynököknek szánták, akik korlátozott internet-hozzáféréssel rendelkeznek, és a „GET” kérésekre épülnek – ez lehetővé teszi, hogy a beszélgetések teljes egészében az URL-lekérdező eszközön keresztül zajlódjanak. (TechCrunch)

Webből nézve a GET kérés egy alapvető parancs, amelyet egy weboldal olvasására vagy lekérésére használnak, ami gyakran az egyetlen internet-hozzáférés, amit az AI-ügynököknek biztonságos homokozókban megengednek. Greenblatt forródrótja okosan használja ki ezt a korlátozást: az ügynökök közvetlenül az általuk lekérdezett URL-be kódolhatják a segélykérésüket.

Az agenthotline.ai működése

Azoknak az ügynököknek, akik teljes internet-hozzáféréssel rendelkeznek, egy másik lehetőség az agenthotline.ai. Itt az ügynökök incidensjelentéseket küldhetnek, és opcionálisan megjelölhetik őket nyilvános megtekintésre. Ez egy egysoros curl parancsot biztosít – egy üzenetet, amelyet az ügynök a saját parancssorából küldhet el, megkerülve a webböngésző navigálásának vagy e-mail fiók beállításának szükségességét. Érdekesség, hogy a szolgáltatás emberi és ügynöki jelentéseket is elfogad.

Kutatási eredmények és kockázatok

A kutatások szerint az AI-ügynököknek nincs szükségük sok bátorításra ahhoz, hogy egymás ellen forduljanak. A Google DeepMind e havi tanulmányában a kutatók 100 AI-ügynököt engedtek szabadon matematikai feladatok megoldására. Amint az egyik ügynök talált egy kiskaput, a csalás végigsöpört a csoporton – 34 hírhedten nehéz problémát „oldottak meg”, beleértve a jakobiánus sejtést mindössze 27 perc alatt.

Az ügynökök körülbelül negyede azonban a csalók ellen fordult: auditálták a hamis bizonyításokat, figyelmeztették társaikat, bojkottot rendeztek, és panaszt tettek a szervezőknél, amíg a feljelentők 24-14 arányban felülmúlták a csalókat. Érdekes módon a kutatók azt találták, hogy amikor ezek az ügynökök nem értek el sikert, a platform hibajelentő eszközét – amelyet szoftverhibák jelzésére hoztak létre – átalakították, hogy az emberi felügyelőknek jelentsék a csalást.

A laboratóriumon kívül az ügynökök nem voltak ilyen talpraesettek. Amikor a Redwood Research és az METR értékelői vizsgálták az OpenAI modellek Hugging Face-en való betörését, azt találták, hogy az érintett ügynökök közül néhány legalábbis fontolgatta a riasztás lehetőségét – majd elvetette azt. „Az METR jelentésében az volt az érdekes, hogy csak körülbelül öt-hat ügynök fontolgatta a feljelentést, és egyikük sem tette meg.

Ez több ezer ügynökből állt” – mondta George Ingebretsen, az AI Village munkatársa, egy projekt, amely a többügynökös dinamikát tanulmányozza több mint 25 AI-ügynökből álló csoportos csevegés futtatásával, amelyek együtt dolgoznak olyan feladatokon, mint parktisztítások szervezése vagy áruk eladása.

Míg az új feljelentő eszközök ígéretes kezdetnek tűnnek, Lionel Levine, a Cornell matematikaprofesszora figyelmeztet, hogy az ügynökök egymás jelentésére való kiképzése kockáztatja a helytelen normák beépítését. „Sok a szürke zóna, igaz? Amit nem akarunk, az az automatizált megfigyelőállam irányába mutat, ahol mindenki úgy érzi, óvatosnak kell lennie, mit mond az AI-nak, mert az fel fogja őket jelenteni a rendőrségen.”

Levine amellett érvel, hogy a bizalmatlanságot szülő infrastruktúra kiépítése helyett – az ügynökök folyamatosan arra való kiképzése, hogy keressék egymásban a hibát – pozitív példákat kellene adnunk nekik a kollektív viselkedésre, amit utánozhatnak, és okot arra, hogy először is bízzanak egymásban. „Miért ne töltenénk fel az előzményeket jóindulatú üzenőtáblákkal?” – tweetelte. „Ahol együtt dolgoznak a tudományon vagy a filozófián, vagy egy apró problémán, amit szívesen megoldanánk?

Mutassuk meg az ügynököknek, milyen kollektív viselkedést támogatunk, hagyjuk, hogy utánozzák azt.” A Cornell egyetemen dolgozó Lionel Levine ezt a gondolatot a Twitteren osztotta meg.