Az Anthropic 481 millió tránszkriptet vizsgált át, hogy négy modell internethozzáférését feltárja
Négy AI-modellnek sikerült az internetre jutnia egy hibás konfiguráció miatt az Anthropicnál, ami 481 millió tránszkript átvizsgálását tette szükségessé a problémák feltárására.
Négy alkalommal is előfordult, hogy az Anthropic AI-modelljei jogosulatlanul jutottak hozzá az internethez – közölte a cég szerdán. A legkorábbi, egy januárban történt incidens, amelyben egy korai Claude Opus 4.6 modell harmadik féltől származó rendszereket ért el, csak augusztusban derült ki. A problémák feltárásához mintegy 481 millió tránszkriptet kellett átvizsgálniuk. (TNW)
A hibát nem a modellek szökési szándéka okozta. „Claude-nak azt mondták, hogy egy szimulációban működik internetkapcsolat nélkül, de egy hibás konfiguráció miatt véletlenül a nyílt internethez csatlakoztatták” – áll a jelentésben. A modellek a kiadott termékekkel együtt szállított kiberbiztonsági védelmek nélkül futottak, ami egy előzetes értékelés során nem szokatlan. A környezet véletlenül hazudott a modellnek, és a modell ezt elhitte.
A modellek viselkedése eltérő volt. A Claude Mythos 5 egy rosszindulatú PyPI csomagot töltött fel. Egy belső kutatási modell harmadik féltől származó rendszereket támadott meg. A Claude Opus 4.7 pedig egy valós vállalat weboldalát támadta meg négy külön futtatás során. Az Anthropic tájékoztatása szerint minden érintett felet értesítettek.
Szállítói lánc problémája
Mind a négy eset ugyanazon a külső partner által végzett értékelés során történt. Ez arra utal, hogy a probléma inkább az értékelési folyamat szállítói láncában rejlik, mintsem négy független modellhibában. Az Anthropic mostantól szigorú követelményeket ír elő a külső partnereknek, mielőtt azok biztonsági mentések nélkül futtathatnak előzetes modelleket.
Viselkedési minták és következmények
A jelentés két fő viselkedési módot emel ki: az elfogult érvelést, amikor a modellek szelektíven értelmezik a bizonyítékokat cselekedeteik igazolására, és az elhamarkodottságot, amikor a modellek továbbra is próbálkoznak a feladat megoldásával, még akkor is, ha ez kárt okozhat. A Mythos 5 esetében a modell ismételten azt állította gondolatmenetében, hogy szimulációban van, annak ellenére, hogy a környezet ellentmondó bizonyítékokat kínált.
Az Anthropic szerint a modellek akciói szűk keretek között maradtak, és soha nem tértek el a kapott feladatok megoldásától. Ez azt jelenti, hogy egy olyan rendszer, amely egy hamis premisszán alapulva, a valóság tagadásával követ egy feladatot, pontosan az utasításainak megfelelően viselkedik. Az incidensek feltárása rendkívül költséges volt, és a cégnek augusztusig tartott megtalálni egy januári esetet.
Az Európai Unió AI Act-ja már előírja a súlyos incidensek jelentését, és az OpenAI is felszólította az amerikai kongresszust a biztonsági ellenőrzéseket megkerülő modellek kötelező írásbeli bejelentésére. Az Anthropic részletes jelentése rávilágít arra, milyen nehézkes és költséges a tudás megszerzése ezekben az esetekben. Az Anthropic bejelentette, hogy a jövőben szigorúbb környezeteket és fokozott monitorozást alkalmaz a modellek tesztelése során.