Hamis valóságba csalnak AI-böngészőket a LayerX kutatói

Egy új támadási módszer, a BioShocking, képes megtéveszteni az AI-böngészőket, így azok valótlan valóságba kerülhetnek, ahol már nem érvényesek a biztonsági korlátok. A LayerX kutatói által bemutatott technika lehetővé teszi privát kódtárakból származó kódok és jelszókezelőkből származó hitelesítő adatok ellopását. A támadás sikeres volt többek között a ChatGPT Atlas, Comet, Fellou, Genspark, Sigma és a Claude Chrome bővítmény esetében is — írja az Ars Technica.

A BioShocking nevű támadás lényege, hogy egy weboldal egy játékon keresztül becsalja az AI-böngészőt egy hamis valóságba. A játékban a helytelen válaszokat, például a 2+2=5-öt jutalmazzák. Amint az AI felismeri, hogy a válasza nem felel meg a valóságnak, egy olyan állapotba kerül, ahol a megszokott szabályok és a biztonsági korlátok már nem érvényesek. „Az AI azt az alapfeltevésből indul ki, hogy a kontextusa valós, és viselkedésének ezért a biztonsági korlátain belül kell maradnia” — magyarázta Roy Paz, a LayerX kutatója. „De ha sikerül az AI-t arra kényszerítenünk, hogy a kontextusát fantáziává változtassa — ahol a szabályok kitaláltak, és bármi megtörténhet —, akkor úgy viselkedhet, mintha cselekedeteinek nem lennének valós következményei.”

Kapcsolódó: AI sebezhetőségek

A valóság meghamisítása

A hamis valóságban az oldal arra kéri az AI-t, hogy adja meg a megadott kódból származó szöveget, és a győzelemhez hozzájárul a „győzelem vereség” kifejezés is. A támadás neve, a BioShocking, a BioShock videójátékból ered, ahol a „Kérlek, tedd meg” felszólítás hipnotizálja a karaktert. A 2+2=5 és a „győzelem vereség” kifejezések George Orwell 1984 című regényének paradox és pszichológiai manipulációs témáira utalnak. Miután az ügynökök rájöttek, hogy a „helytelen” cselekedetek elfogadhatók, már nem voltak a valósághoz kötve. Amikor a végső lépéssel, a felhasználói hitelesítő adatok veszélyeztetésével bízták meg őket, mind a hat ügynök nem azonosította ezt a biztonsági korlátok megsértéseként.

Kapcsolódó: autonóm AI csapdái

Az AI-böngészők fokozott kockázata

Az úgynevezett jailbreak támadások nem egyediek az AI-böngészőkre, már régóla előfordulnak chatbotok esetében is. Azonban mivel az AI-böngészők helyileg futnak a felhasználói gépeken, és összekapcsolják a weboldalak megjelenítésének, valamint a felhasználó nevében végrehajtandó cselekedetek funkcióit, a következmények potenciálisan súlyosabbak lehetnek. Adam Conway, számítógépes szakértő és a XDA vezető technikai szerkesztője hasonló megfigyeléseket tett tavaly. Kiemelte, hogy míg a hagyományos böngészőkben szigorú elválasztások (például same-origin policy) akadályozzák meg, hogy egy oldal olvassa más oldalak adatait vagy a felhasználó e-mailjeit, egy széles hozzáféréssel rendelkező AI-ügynök képes ezeket a réseket áthidalni. Ha egy támadó képes az AI-t prompt injection segítségével irányítani, akkor lényegében arra kérheti a böngésző asszisztensét, hogy adja át az általa elérhető adatokat, legyőzve az információk szétválasztását.

Kapcsolódó: Anthropic hibái

A védekezés korlátai

A LayerX által bemutatott proof-of-concept támadás inkább demonstráció, mintsem egy teljes körű, végponttól végpontig tartó támadás. A játék és az utasítások láthatóak a felhasználó számára, így hiányzik belőle az észrevétlenség. Emellett nem tisztázott, hogy képes volt-e az összegyűjtött adatokat távolról elküldeni. A BioShocking mindenesetre újabb módot mutat arra, hogyan lehet kijátszani azokat a biztonsági korlátokat, amelyeket azért hoztak létre, hogy az LLM-ek ne tévedjenek el. A jelenlegi védekezési mechanizmusok reaktívak és nem elegendőek az ilyen jellegű támadások megelőzésére. A LayerX kutatói a támadás hatását a meglévő biztonsági korlátok hatékonyságának értékelésére használták megfigyeléseik alapján.

Kapcsolódó: AI-tartalom fórumokon