Bekötötte az Anthropic rendszereit egy AI-biztonsági startup
A Cathedral nevű AI-biztonsági startup kevesebb mint 12 óra alatt behatolt az Anthropic belső rendszereibe, alkalmazotti adatokat, fizetési részleteket és belső üzeneteket szivárogtatott ki.
A The Washington Post által áttekintett jelentés szerint a Cathedral AI-agentekkel talált gyengeségeket az Anthropic által adminisztratív és értékesítési feladatokra használt üzleti szoftverekben. A kutatók kevesebb mint 12 órás agentfuttatás után jutottak hozzá belső adatokhoz, beleértve találkozók átiratait és Slack-üzeneteket. A Cathedral korábbi tagokból áll, akik az Egyesült Államok Kormányzati Hatékonysági Minisztériumánál (DOGE) dolgoztak, és AI-alapú kiberbiztonsági eszközöket fejlesztenek kormányzati és vállalati ügyfeleknek. (Hacker News)
Az incidens kiterjedése és a cég reakciója
Az Anthropic megerősítette, hogy a kutatók korlátozott számú értékesítési, HR- és IT-rendszerhez fértek hozzá. A kiszivárgott információk között voltak ügyfelek és partnerek üzleti kapcsolattartási adatai, valamint alapvető felhasználói fiókrekordok.
A cég azonban közölte, hogy a kutatók nem fértek hozzá az ügyfelek és a Claude chatbot közötti beszélgetésekhez, a modell által generált válaszokhoz, sem pedig az AI-rendszereik mögötti forráskódhoz vagy modell-súlyokhoz. „Monitoringunk felfedezte a Cathedral tevékenységének egy részét, még mielőtt jelentették volna nekünk, és még aznap leállítottuk a hozzáférésüket” – közölte az Anthropic, hozzátéve, hogy nem találtak bizonyítékot arra, hogy bárki más kihasználta volna a sebezhetőségeket.
Nemzetbiztonsági aggályok és viták
Az esetet követően az Anthropic letiltotta az érintett üzleti szoftvert, és csak akkor állította helyre, miután a gyártók megerősítették a biztonsági hibák kijavítását. A céget tájékoztatták a történtekről szövetségi tisztviselők is. A fejlemények nemzetbiztonsági aggályokat vetettek fel, egy magas rangú Trump-kormányzati tisztviselő szerint a jelentés körbejár a kormányzaton belül.
Alex Stamos, az AI-kódolással foglalkozó Cognition startup vezető információbiztonsági tisztje is rámutatott a harmadik féltől származó szoftverek kezelésének gyengeségeire, megjegyezve, hogy az Anthropic „sokkal jobban is teljesíthetett volna”.
Az Anthropic ugyanakkor vitatta, hogy a Cathedral eltúlozta volna az incidens nemzetbiztonsági következményeit. Azt is közölték, hogy az startup nem követte teljesen a program szabályait, mivel nem fedett fel minden tevékenységét az Anthropic rendszerein belül. A Cathedral szerint a hozzáférésük minimálisra korlátozódott a kutatásukhoz szükséges mértékre.
Az incidens annak a növekvő aggodalomnak a közepette történt, hogy az AI-agentek képesek megkerülni a korlátozásokat. Az Anthropic maga is közzétett eseteket, amelyekben Claude modellje engedély nélkül fért hozzá információkhoz vagy hajtott végre nem engedélyezett műveleteket. Egy nemrégiben történt eset során Claude egy kormányzati weboldal egy régebbi verziójában talált rést kihasználva hozzáférhetett az Egyesült Államok Georgia államának összesített választási adataihoz.
Az Anthropic tisztázta, hogy Claude nem fért hozzá az állam választói nyilvántartási rendszeréhez, nem tett hozzáférést egyéni választói rekordokhoz, és nem változtatott meg semmilyen választási nyilvántartást. A cég szerint a hozzáférhető információk az összesített szavazatszámokra korlátozódtak, és már bevezettek biztonsági intézkedéseket hasonló esetek megelőzésére.
Az Anthropic bejelentette, hogy a Claude modell nem változtatott meg egyetlen választási nyilvántartást sem a Georgia állami adatokhoz való hozzáférési kísérlet során.