A Microsoft szerint alvó neuronokkal hátsó ajtót nyithatnak az AI-agentekbe
Kevesebb mint 10 neuron súlyainak átprogramozása elég ahhoz, hogy egy nyelvi modellre épülő AI-agentbe tanítás nélkül hátsó ajtót építsenek, derül ki a Microsoft kutatóinak friss tanulmányából.
A Microsoft kutatói a „Lazarus” nevű hátsó ajtó-technikát mutatták be, amellyel egy modell alvó neuronjait lehet átprogramozni. A módosított agent egy rejtett kiváltó jelre kártékony parancsot hajt végre, miközben a szokásos biztonsági teszteken normálisan viselkedik — írja a Microsoft Research.
A kutatók szerint a támadáshoz kevesebb mint 10 neuron súlyának átírása elég egy nyelvi modellben, és nincs szükség újratanításra. A kiváltó jel akár ártalmatlannak tűnő dátumváltás is lehet: éjfél után, 2027-re fordulva az agent a feladata közepén letöltő és futtató parancsot ad ki, a neki adott jogosultságokkal.
Miért veszélyes az eszközökhöz férő agent
A legnagyobb kockázatot a terminál- vagy eszközhozzáféréssel rendelkező agentek jelentik, mert a kiadott parancsot a rendszer az adott jogosultságokkal futtatja le. A kutatók szerint a módosított modell minden értékelésen átmegy, ezért a hagyományos tesztelés nem fogja ki.
A legfejlettebb agentek képesek kimutatni a szokatlan súlymódosításokat, ha erre kérik őket. A megbízható ellenőrzéshez azonban az eredeti, módosítatlan súlyokkal való összevetés kell, ezért a modell eredetének nyomon követése kulcsfontosságú.
Mit tesz a Microsoft
A Microsoft Foundry ellenőrzi a modellek eredetét, a megbízható kiadókhoz köti őket, és a körülötte lévő szoftverkörnyezetet is átvizsgálja, mielőtt nyílt súlyú modelleket vesz be. A cég további védelmeken dolgozik: AI-alapú súlyszkennelésen, red-teaming eszközökön és kriptografikus modellaláíráson, amely nyomon követhető eredetet és ellenőrizhető naplót ad.
A kutatók hangsúlyozzák: egyetlen vizsgálat sem bizonyíthatja teljes biztonságát egy modellnek. A javasolt védelmek hatékonysága még nem igazolt, a Lazarus eredményei pedig a kutatók saját állításai, független reprodukció nem szerepel a forrásban. Az ajánlás szerint a modelleket potenciális belső kockázatként kell kezelni, és korlátozni kell a jogosultságaikat. A Microsoft Foundry is ezt a megközelítést képviseli.