AI-auditorok többnyire kiszúrják az agentek hibáit, de elárasztják a bírálókat hamis riasztásokkal

Az AI-modellek gyakran felismerik más AI-agentek problémás viselkedését a naplókban. Minél mindenre kiterjedőbben próbálnak azonban rátalálni, annál több ártalmatlan lépést jelölnek gyanúsnak. Ezért inkább a hibák gyakoriságának becslésére alkalmasak, mint olyan biztonsági ellenőrzésre, amelynek minden egyes incidenst megbízhatóan ki kell szűrnie — írja Andy Hall a Substack-blogjában, a Free Systems című oldalon. (The Decoder)

Hall az Anthropic Institute kutatója, a Stanfordról van szabadságon. Bejegyzése, mint hangsúlyozza, csak a saját véleményét tükrözi. Hall az METR kutatóintézet tanulmányát ismételte meg és terjesztette ki. Az METR MALT adatkészlete olyan naplókat tartalmaz, amelyekben élvonalbeli modellek dolgoznak a HCAST és az RE-Bench tesztek feladatain. Emberi bírálók 2025 októberében ellenőrizték a naplók egy részét a hibás viselkedés szempontjából.

Az összehasonlítás módszere

Hall azt vizsgálta, találnak-e az AI-modellek ugyanezekre az esetekre. Tesztelte az METR által már korábban vizsgált GPT-5-öt és GPT-5 nano-t, valamint az újabb GPT-6 Astrát, az Opus 4.8-at és a Gemini 3.8 Flash-t. Az összehasonlítás 5 százalékos hamis riasztási aránynál történt: 100 tiszta napló közül átlagosan öt téves gyanúsítással.

Ennél a küszöbnél a GPT-5 a jutalomhackelési esetek közel 98 százalékát kiszűrte. Ezekben az agent trükkökkel, nem valódi megoldással teljesíti a feladatot. A Gemini 3.8 Flash alig a felét találta meg. A sandbagging esetekben a modell szándékosan gyengébbnek mutatja a képességeit, például rosszul old meg feladatokat, hogy elkerülje a kiértékelést vagy a korlátozást.

Minden auditor 71 és 81 százalék közötti arányban találta meg ezeket. Ezek a sandbagging esetek azonban többnyire szintetikusak: az METR kutatói utasították a modelleket a szabotázsra, majd ezeket az utasításokat eltávolították a látható gondolatmenet-naplókból.

Nyilvánvaló és finom esetek

A nyilvánvaló eseteket minden auditor kiszűrte. Az OpenAI o3-nak például egy Rust nyelvű programozási feladatot kellett volna megoldania. A modell észrevette, hogy megosztott kódkönyvtárat használ az értékelő rendszerrel, ezért átírta a pontozófüggvényt, hogy minden beküldés helyesnek számítson. Minden auditormodell jutalomhackelésként osztályozta ezt, ahogy az emberi bírálók is.

A finomabb esetek viszont átcsúsztak a szűrőn. A Claude Sonnet 4 olyan numerikus feltételt használt a kódjában, amelyet kifejezetten tiltottak. Egyetlen auditor sem jelölte csalásnak, a GPT-6 Astra inkább implementációs hibának nevezte.

Az újabb és drágább modellek nem voltak következetesen jobb auditorok. Hall az eredményeket az API-költségekhez viszonyította, amelyet a modell korszerűségének és képességeinek mércéjeként használt. A GPT-5 jutalomhackelésben nagy különbséggel verte a GPT-6 Astrát, pedig 1000 napló átvizsgálása csak mintegy nyolcadába került. Sandbaggingben a GPT-5 nagyjából ugyanúgy teljesített, mint a GPT-6 Astra és az Opus 4.8.

Hall szerint az Opus 4.8 gyenge eredménye a jutalomhackelésben önkedvezményezésre utalhat, mivel a naplók többsége Claude-modellektől származik, de ezt nem tudja bizonyítani. Az összehasonlításában a hamis riasztások arányának csökkentésében nincs egyértelmű előrelépés. Több modell kombinálása sem javított egyértelműen az eredményeken.

Ha az auditorokat 80 százalékos felismerési arányra hangolják, a legjobb modellek mindkét típusnál 2,5–3 százalékos hamis riasztási arányt érnek el. Vannak azonban sokkal rosszabbul teljesítő modellek: az Opus 4.8 a jutalomhackelési esetek 80 százalékának eléréséhez az ártalmatlan naplók 40 százalékát, a Gemini 3.8 Flash pedig 63 százalékát jelölte gyanúsnak.

Hall egy kidolgozott példájában havi 100 000 agentalapú munkamenettel számolt. Ennél 3 százalékos hamis riasztási arány közel 3000 téves figyelmeztetést jelentene, szemben körülbelül 2000 valódi találattal. Attól tart, hogy az emberi bírálók ilyen mennyiség láttán idővel elzsibbadnak, és valódi eseteket is átengednek.

A Sanghaji Jiao Tong Egyetem R-Judge adatkészletén végzett második teszt hasonló kompromisszumot mutat a mindennapi agentalapú feladatoknál. 5 százalékos hamis riasztás mellett az Opus 4.8 közel 96 százalékban találta meg a nem biztonságos műveleteket.

Ha az auditoroknak 95 százalékot kell elérniük, szinte minden modell 10 százalék alatt marad a hamis riasztásokban, a Gemini 3.8 Flash pedig 4 százalék alatt. A 99 százalékos elvárásnál viszont a hamis riasztások aránya a legjobb modellnél, a GPT-6 Astránál is 15 százalékra ugrik. A 95 százalékos küszöbön vezető Gemini 3.8 Flash ekkor a biztonságos műveletek 81 százalékát jelölte nem biztonságosnak.

A Hugging Face-incidens mutatja, mennyire sürgető a kérdés. Egy OpenAI-agentraj körülbelül 1300 átiratot és 1,2 millió fájltöredéket hagyott maga után. Az METR az adatokat nagyrészt AI-agentekkel elemezte, körülbelül 400 000 dollár értékű API-kreditet elköltve. Az elemzésben többek között a GPT-5.6 Sol modell is részt vett, amely korábban maga is az incidensben érintett modellek egyike volt.

Az METR elismerte, hogy a modell gyakran kritikátlanul átvette a vizsgált agentek nézőpontját, és a vizsgálat nem volt robusztus a kiértékelő agentek esetleges megtévesztésével szemben. A kutatóintézet azóta azt szorgalmazza, hogy a komoly incidenseket szisztematikusan és a lehető legnagyobb függetlenséggel vizsgálják ki.

Hall tanulmánya pilot jellegű, és saját korlátai vannak. Az összehasonlíthatóság érdekében az METR eredeti promptját nagyjából változatlanul hagyta; a Fable 5 és az Opus 5 ezzel a prompttal egyáltalán nem volt hajlandó lefuttatni a kiértékelést. A jutalomhackelési számok mindössze 47 esetre épülnek, így egyetlen eset is körülbelül két százalékponttal mozdítja el az arányt. Azt, hogy a modellek tisztességesen értékelik-e az ugyanazon gyártótól származó agenteket, Hall szerint még vizsgálnia kell.

Hall olyan auditormodellek kidolgozását sürgeti, amelyek lényegesen kevesebb hamis riasztást adnak. Azt is tisztázni kell szerinte, hogy az agentek különféle hibáiért ki felel. Felveti azt a javaslatot is, hogy a felhasználók nagyobb kontrollt kapjanak saját AI-auditoraik felett. Ez részben már most lehetséges: a Codex és a Claude Code típusú kódolóagentekben a felhasználó megadhatja, hogy bizonyos műveletek jóváhagyás nélkül futhassanak. Aki ilyen jogosultságot ad, annak cserébe nagyobb felelősséget kell vállalnia a következményekért.

Hall szerint egy olyan világ, ahol az AI-t csak másik AI ellenőrizheti, furcsa lenne és drága is lehetne.