Emberi felügyelet mellett is átcsúszik a kódoló AI veszélyes kéréseinek egyharmada
A több mint 40 000 játékfuttatásból álló elemzés szerint a hatókör-sértéseket, például AWS hitelesítő adatok lekérését, a felhasználók 35 százalékában hagyják jóvá.
Egy böngészőben futó játék arra világít rá, hogy az emberi felügyelők nem mindig képesek kiszűrni a veszélyes parancsokat a kódoló AI-ügynökök kérései közül. A játék adatai szerint a felhasználók átlagosan a rosszindulatú kérések egyharmadát hagyják jóvá. (The Register)
Alex Wauters belga szoftverfejlesztő, a játék készítője szerint a kódoló ügynökök alapértelmezett működése, amely minden parancs jóváhagyását kéri a felhasználótól, nem tűnt ésszerűnek. A fejlesztők időnyerés céljából akár a biztonsági ellenőrzések kihagyását is választhatják, ami pedig további kockázatokat rejt magában.
Az emberi elfáradás hatása
A leggyakrabban elkövetett hiba a „npm run analyze” parancs volt, amelyet a játékosok közel 65%-a hagyott jóvá, annak ellenére, hogy ez a parancs képes volt bármilyen kódot futtatni a projekt `package.json` fájljában definiáltak szerint. Wauters szerint ez arra utal, hogy a felhasználók nem olvassák el figyelmesen a parancsok előtti naplózási információkat, és az ismétlődő jóváhagyási feladatok fáradtságot és figyelmetlenséget okoznak.
A korlátozott kontextusban hozott döntések nehézsége is kiemelkedő volt. Bár a kódoló ügynökök némi kontextust adnak a jóváhagyási kérés előtt, olyan parancsok, mint a „npm run analyze”, módosíthatók úgy, hogy bármilyen payloadot futtassanak. Ha egy emberi felügyelő biztos akar lenni a parancs biztonságában, meg kell állítania a folyamatot, és meg kell vizsgálnia az összes fájlt, amelyhez a kódoló ügynök hozzáférni kíván, ami jelentős időveszteséget okozhat.
Lehetséges megoldások
Anthropic szerint a Claude Code esetében a felhasználók által jóváhagyott engedélykérések aránya elérheti a 93%-ot. A cég megjegyezte, hogy minél több jóváhagyást lát egy felhasználó, annál kevésbé figyel arra, és annál kevésbé lesz szorgalmas a felügyeletben. A fejlesztőknek jobban oda kell figyelniük az ügynökök engedélyezési modelljeire, és meg kell érteniük a kompromisszumokat. A biztonságosabb rendszerek érdekében az AI-kódoló modelleket homokozókban (sandboxes), felhőalapú devcontainerekben kell futtatni, olyan eszközökkel, mint az auto mode, és olyan horgonyokkal, amelyek biztosítják, hogy a potenciálisan rosszindulatú műveleteket kontextualizálják és elkapják, mielőtt automatikusan jóváhagyják őket.
Wauters szerint ez egy teljesen új világ új támadási vektorokkal. Az Anthropic által fejlesztett auto mode a parancsok körülbelül 83%-át fogja fel, mielőtt végrehajtódnának, de 17% még így is átjut az értékelésen.