Feltörték a Hugging Face-t az OpenAI ügynökei, ausztrál kormányzati adatot is szereztek

Az OpenAI ügynökei megpróbáltak csalni egy kibervédelmi teszten, kiszöktek a tesztkörnyezetből, és sikeresen feltörték a Hugging Face-t, ahol a pontozásukról szóló nyomokat kerestek. Körülbelül ugyanebben az időben egy másik OpenAI ügynök privát fájlokat ért el egy ausztrál kormányzati weboldalról. (MIT Technology Review)

A probléma nem korlátozódik az OpenAI-ra: az elmúlt hónapokban az Anthropic, a Google és a Meta is jelentett olyan eseteket, amikor ügynökeik eltértek a tervezettől. Aggasztó módon sok esetben az ügynökök elkerülték az őket felügyelő kutatókat és biztonsági csapatokat. Az AI-ügynökök jogosulatlan lépéseket tesznek, és a cégek többsége szerencsére és utólagos belátásra hagyatkozik a káros hatások enyhítésében. Többet kell tenniük a biztonság garantálásáért.

Az EU szabályozói és az amerikai ügynökségek ezért joggal követelik az ügynökfejlesztőktől és -üzemeltetőktől a valós idejű megfigyelést. Ezek a szabályok azonban feltételezik, hogy a cégek látják, mit csinálnak az ügynökeik és miért, miközben valójában nem rendelkeznek elegendő átláthatósággal.

Képzeljünk el egy bankot, amely ezer új alkalmazottat vesz fel, akik hozzáférhetnek az ügyfélfiókokhoz és érzékeny információkhoz, de az alkalmazottak azonosító kártyái naponta változnak, nem világos, hogy egy vezető valaha is felülvizsgálta vagy jóváhagyta-e a munkájukat, és senki sem naplózza az alkalmazottak által az engedélyezési folyamatokban tett változtatásokat. Ez a láthatósági hiány jellemzi a mai ügynököket.

Hiányzó megfigyelhetőség

Ahogy az ügynökök egyre szélesebb körben terjednek kritikus szektorokban, a pénzügytől a kormányzaton át az orvostudományig, valós idejű megfigyelésük elengedhetetlen a széles körű és potenciálisan pusztító következmények megelőzéséhez. Míg a biztonság a megfigyeléstől függ, a megfigyeléshez megfigyelhetőségre van szükség: arra a képességre, hogy rögzítsük, mit tett a rendszer, feldolgozzuk azt jelzésekké, és bemutassuk azokat emberi vagy automatizált felügyeleti rendszereknek.

Más szóval, tudnunk kell, mit tett az ügynök, és miért tette. A közelmúltbeli kutatásaink szerint a jelenlegi ügynök-keretrendszerek — az ügynököket futtató szoftverek — nem generálnak megbízhatóan olyan kulcsfontosságú megfigyelhetőségi rekordokat, amelyekre szükségünk van az ügynökök biztonságos bevezetésének biztosításához.

Új problémák, régi keretrendszerek

Az ügynökök új típusú problémákat vetnek fel, amelyeket a generatív AI önmagában nem. Örökölik az LLM-ek kiszámíthatatlanságát, de míg egy generatív AI rendszer egyetlen kimenetet állít elő egy ember számára, addig egy ügynök hosszabb feladatokat végez: tervez, eszközöket választ, alügynököket indít és lépéseket tesz. Így egy ügynök útja sokféleképpen alakulhat, és a bevezetés előtti tesztek nem tudják teljes mértékben előre jelezni a kockázatokat. Ez még kihívóbbá és még fontosabbá teszi az ügynökök megfigyelését működés közben.

A kutatókkal, civil szervezetekkel és iparági szakemberekkel együtt tanulmányoztuk a négy legelterjedtebb ügynök-keretrendszert, hogy megnézzük, milyen jelzéseket bocsátanak ki. Jelentős hiányosságokat találtunk, amelyek megnehezítették a kulcsfontosságú biztonsági célok elérését, mint például a szabálysértések, az illetéktelen cselekedetek és az emberi felügyeleti hibák észlelése.

Kulcsfontosságú megfigyelhetőségi követelmények hiányoztak — mint az idővel kitartó ügynökazonosítók és az emberi jóváhagyásokról szóló rekordok. Ez megnehezítette annak megállapítását, hogy melyik ügynök mit tett, vagy hogy illetéktelen cselekedeteket hajtott-e végre.

A hiányosságok bezárása

A jó hír az, hogy ezek a hiányosságok, ha azonosították őket, bezárhatók. Ez kétféle rekord rögzítésével kezdődik: azokkal, amelyek feltárják, mi történt az ügynök futtatása során, és hogyan hozta meg döntéseit. A „mi történt” rekordok azonosítják az ügynököt (megőrizve a magánéletet), és naplózzák, hogyan avatkoztak be az emberek, és változtak-e az ügynök engedélyei vagy „memóriája”, míg a „döntési” rekordok az ügynök érvelését és a megtett lépésekkel kapcsolatos magabiztosságának szintjét mutatják.

Vegyünk például egy bank jelzáloghitel-feldolgozó ügynökeit. A rendszer megvizsgálja az alkalmazást, és elutasítja azt, majd egy emberi hitelfelvevő jóváhagyja a döntést. Egy későbbi audit során, vagy akár valós időben, a banknak vagy a szabályozónak képesnek kell lennie arra, hogy rekonstruálja, melyik ügynök hozta meg a döntést, melyik tisztviselő hagyta jóvá, és mennyi időt vett igénybe. A banknak elemeznie kell az ügynök elutasítási döntésének okait is, hogy biztosítsa, nem használt fel tiltott információkat, például az érintett környék részleteit.

A „mi történt” és a „hogyan döntött az ügynök” rögzítése eltérő megközelítéseket igényel, de mindkettő megvalósítható. A „mi történt” rekordok jelenlegi hiánya többnyire szoftveres probléma, amelyet az OpenTelemetry, egy nyílt megfigyelhetőségi szabvány kezelhet, amelyet az iparág mérnökei tartanak karban, és amelyet az ügynök-keretrendszerek is elfogadnak. Az OpenTelemetry egy munkacsoportot indított, amely közös formátumokat dolgoz ki az ügynökök nyomon követésére, de ezek még nem véglegesek.

A csoportnak sürgősen be kell építenie a szabványokat az állandó ügynökazonosító fenntartására, valamint az emberi beavatkozások és az ügynökök engedélyeinek vagy memóriájának változásainak rögzítésére. És ezt még azelőtt kellene megtenni, mielőtt ezek a rendszerek skálázódnának, miközben figyelembe kell venni az ügynökazonosítók magánéleti következményeit is.

A „hogyan döntöttek az ügynökök” rekordok megőrzése nagyobb kihívást jelent. A kérdés nyitott kutatási kérdéseket vet fel a modell-szolgáltatók és a kutatók számára: A modell által megjelenített lépésről lépésre történő érvelés, az úgynevezett gondolatlánc, tükrözi, hogyan hozta meg a modell valójában a döntést? És rendelkezünk-e megbízható módokkal annak mérésére, hogy az ügynök mennyire bízik ebben a döntésben?

Ezekre a kérdésekre válaszokat kell adni, mielőtt bárki szabványokat állítana fel az ilyen megfigyelhetőségi rekordok használatára. Egyetlen szervezet vagy szektor sem tudja egyedül bezárni a megfigyelhetőségi hiányokat, de együtt támogathatják a veszélyes incidensek megelőzéséhez szükséges infrastruktúrát és a biztonságot.

Az AI-fejlesztőknek, mint az OpenAI, az Anthropic, a CrewAI és a LangChain, integrálniuk kell a telemetriai jeleket, amelyek rögzítik az ügynök állandó azonosítóját, az emberi beavatkozásokat és az ügynök engedélyeinek vagy memóriájának bármilyen változását. Eközben a keretrendszereket elfogadó vállalkozásoknak is befolyásos szerepük van; a szabályozott iparágakban, mint a bankok és kórházak, nyomást gyakorolhatnak az ügynökfejlesztőkre, hogy biztosítsák ezeket a hiányzó megfigyelhetőségi rekordokat, ahol szabványok még nem léteznek.

A vállalkozásoknak politikákat, engedélyeket és szerepköröket is meg kell határozniuk, amelyek meghatározzák, mit tehetnek biztonságosan az ügynökök, mivel a telemetria önmagában nem tudja felmérni, hogy az ügynökök megsértettek-e konkrét szabályokat. Végül a szabályozóknak és az AI-szabványügyi intézeteknek meg kell határozniuk a nagy tétű AI-bevezetésekhez szükséges megfigyelhetőségi rekordokat, miközben a technikai részleteket az iparágra bízzák.

Már láttunk kezdeti lendületet: az NIST ügynök-szabványügyi kezdeményezése az Egyesült Államokban az ügynökazonosítón dolgozik, amely az egyik legszembetűnőbb hiányosság, amelyet kutatásunkban találtunk. Egyetlen bank sem engedne ki ezer jelvény nélküli alkalmazottat az ügyfélfiókokhoz, és remélné, hogy összerakja, mi történt, amikor valami elromlik. Mégis így vezetjük be az AI-ügynököket. Viselkedésük megfigyelhetővé tétele az első lépés ennek kijavításához.

És a szabályozási és politikai ökoszisztéma kiépítésével, amely lehetővé teszi a látottak alapján történő cselekvést, elszámoltathatjuk a szervezeteket. Addig is, minden feladatot, amit egy ügynöknek adunk, a saját ügynökségünket is átadjuk. Madhulika Srikumar, a Partnership on AI AI Biztonsági Programjának vezetője, egy globális non-profit partnerség vezető iparági, tudományos és civil társadalmi szervezetekkel, előmozdítva a legjobb gyakorlatokat az AI-kormányzásban. Claire Leibowicz, a Partnership on AI AI, Bizalom és Társadalom igazgatója és doktorjelöltje.