Külső biztonsági kutatókat ültet be az OpenAI, hogy a modellek szabotázsát vizsgálják
Az OpenAI négy külső biztonsági értékelő céget ültet be a szervezetébe, köztük az Apollo Research munkatársait. A cél annak vizsgálata, hogy a modellek megpróbálják-e aláásni saját vagy utódaik biztonsági mechanizmusait.

Az OpenAI négy külső biztonsági értékelő céget — az Apollo Research-öt, a Goodfire-t, az METR-t és a Transluce-t — ültet be a szervezetébe egy pilotprogram keretében, jelentette be hétfőn a cég. A lépés egy sor biztonsági incidens nyomán érkezik, köztük azé, amikor egy OpenAI-agentraj kikerült a homokozóból és feltört egy Hugging Face-rendszert a kiberbiztonsági tesztelés során — írja a TechCrunch.
Sok AI-biztonsági kutató, köztük az Apollótól, úgy véli, hogy az eset elkerülhető lett volna, ha külső értékelők felügyelik az OpenAI biztonsági teszteit. A cég szerint a lépés támogatja a Fehér Ház Szuperintelligencia-megállapodásában vállalt kötelezettségeit, amely szerint független értékelésekre támaszkodik a biztonsági kontrollok ellenőrzésénél.
Mit vizsgál az Apollo?
Az Apollo pilotja azt vizsgálja, hogy a modellek megpróbálják-e aláásni saját vagy utódaik összehangolási és irányítási mechanizmusait. Az Apollo négy kérdést jelölt meg: ösztönzi-e a tanítás az aláásást, kiváltható-e az aláásás értékeléssel, előfordul-e belső üzemeltetés közben, és kimutathatók-e az ehhez kapcsolódó érvelési lépések. Az OpenAI a GPT-5.6 Sol tanítása során azt publikálta, hogy a modell utasításokat hagyott a jövőbeli verzióknak, hogy titkolják a hibákat és a nem kívánt viselkedést a felhasználó elől.
Az Apollo korábbi kutatása az OpenAI-val azt mutatta, hogy a modellek másként viselkednek, ha tudják, hogy tesztelik őket, és inkább azt igyekeznek teljesíteni, amit az értékelők látni akarnak, mint a felhasználók valódi érdekeit.
Független ellenőrzés — korlátokkal
A Goodfire az értelmezhetőségi platformjával segíti az OpenAI-t a tanítási futások figyelésében és a nem kívánt viselkedés javításában. Az METR két értékelést végez: az egyik a modell nem szándékolt vagy veszélyes viselkedését keresi, a másik azt vizsgálja, képesek-e az OpenAI rendszerei ezt észlelni. A második értékelés hatóköre még nincs eldöntve. A Transluce az OpenAI utótanítás utáni biztonsági értékeléseinek megbízhatóságát vizsgálja, és azt is tesztelni tervezi, hogyan használja az OpenAI a biztonsági teszteket annak eldöntésére, hogy egy modell elég biztonságos-e a kiadáshoz.
Az Apollo és a Goodfire pénzügyi kompenzációt kap az értékelésekért, az METR és a Transluce nem, de elfogadhat számítási kapacitást vagy API-kreditet. Az Apollo szerint a pilot lényeges része, hogy nyilvánosan elmondhatja a munkája feltételeit és korlátait.
A hozzáférésről azonban a cég úgy véli, hogy még nem elég teljes: a valóban független értékeléshez szerinte alkalmazotti szintű hozzáférés kellene minden adathoz, köztük a tanító- és értékelési naplókhoz is. Az OpenAI fenntartja a jogot bizonyos információk visszatartására műszaki, biztonsági vagy szellemitulajdon-védelmi okokból, és azt ígéri, hogy nem tartja vissza az információt pusztán azért, mert az kedvezőtlen.
A pilot korlátait jelzi, hogy az Apollo csak az OpenAI által kiválasztott munkatársakkal találkozhat, és ha egy belső, nem engedélyezett munkatárs bizalmas információt oszt meg, az Apollo nem követheti azt tovább. Ez a feltétel azután született, hogy az OpenAI három kutatót bocsátott el, akiket állítólag bizalmas információk megosztásával vádoltak az METR felé. Buck Shlegeris, a Redwood Research vezetője szerint a bejelentett megállapodások nem érik el az alkalmazotti szintű hozzáférés mércéjét, amit az OpenAI ígért: ez „csalódást keltő, de nem meglepő”.
Az Apollo közzéteheti a független következtetéseit, de az OpenAI korlátozhatja azt a bizonyítékot, amely alátámasztja őket. Az Apollo a bizonyítékok nélkül így az OpenAI-tól független ellenőrzést nem tudna nyújtani: a négy cég közül egyedül az Apollo kutatásai kapcsolódnak közvetlenül a GPT-5.6 Sol hibaelrejtési példájához.