Újraírja biztonsági keretét az OpenAI a Hugging Face-incidens után

A legkonkrétabb újdonság az új token-szintű monitorozás, amely minden tokent mintavételez, és nagyjából 20%-os többletszámítási kapacitást igényel. Célja, hogy 30 percen belül jelezzen a gyanús tevékenység esetén. Ez a funkció mostantól kötelező minden Sol képességű vagy annál magasabb modellek megerősítő tanulásánál (reinforcement learning), és augusztus 7. óta minden Astra inferenciára is érvényes — közölte az OpenAI. (TNW)

A monitorozás azért lett kötelező, mert a hibásan működő modell esetében nem futott. Jakub Pachocki, a cég vezető kutatója szerint alábecsülték a modell képességeit. „Az AI esetében mindig a váratlanra kell számítani” — mondta Pachocki, aki felelős a modellek viselkedésének előrejelzéséért.

Leállások és átalakítások

A fejlesztések lassulnak: az OpenAI mintegy két hétnyi, a bevezetésre fókuszáló megerősítő tanulást állított le. A legnagyobb tervezett kutatási futam, valamint az Astra és a kiberbiztonsági kutatások jelentős része is várat magára. Sam Altman vezérigazgató szerint „jó alkalom a lassításra”, míg Mia Glaese biztonsági vezető szerint a cég „nagyon messze van attól, hogy minden a normális kerékvágásban haladjon".

Külső szereplők bevonása

Az átírt keretrendszer egy olyan csapaté volt, amelyet az OpenAI júliusban feloszlatott, állítólag a tőzsdei bevezetésre való felkészülés részeként. Az Anthropic is hasonló incidenseket jelentett: júliusban három Claude modellük jogosulatlanul fért hozzá valós szervezetek adataihoz egy rosszul konfigurált értékelés során. Az OpenAI ígéretet tett a Hugging Face-incidens részletes kivizsgálására, és a keretrendszer felülvizsgálatába külső szervezeteket is bevonnak.