Vészfékkel állítja le a modelleket az OpenAI új Control Room rendszere

A modellek erősödésével a biztonsági és biztonságtechnikai kockázatok is nőnek, ezért az OpenAI szerint egyre fontosabb, hogy a lehetséges problémákat gyorsan észleljék, és szükség esetén azonnal megállítsák a modelleket. Erre fejlesztették ki a Control Room nevű rendszert, amelyről a cég blogbejegyzésben számolt be – írja az OpenAI.

Hogyan épül fel a rendszer

A Control Room a kutatási infrastruktúrában futó modellmunkafolyamatokat fogja össze, köztük az agentalapú mintavételezést a modellek tanításához és értékeléséhez, valamint az adatfeldolgozást. A rendszer az OpenAI misalignment-figyelő rendszereivel együtt működik, és a beavatkozási döntéstől számított 35 másodpercen belül leállítja a modell kimenetét. Az OpenAI szerint a rendszert úgy alakították ki, hogy más rendszerek meghibásodása esetén is működjön, és ha maga a Control Room áll le, a modell kimenete is leálljon.

A működés három elemre épül: a munkafolyamatra, az inferencia-motorra és a központi Control Room szolgáltatásra. Minden futó munka új job_id-t kér a Control Room-tól, majd a modellhez küldött kérések ezt az azonosítót is tartalmazzák. Az inferencia-motor minden kérés előtt engedélyt kér a szolgáltatástól, amely megtagadja a kérést, ha az adott feladatot már leállították.

Biztonsági feltételek és jelenlegi állapot

Az OpenAI szerint minden agentalapú inferenciát végző kutatási munkafolyamathoz jóváhagyott biztonsági esettanulmány (safety case) szükséges. A cég közlése szerint a Control Room már üzemel a kutatási infrastruktúrában, ahol a szükséglet a legnagyobb. A külső modellkiszolgáló rendszer bevezetéséről a forrás csak részleteket közöl, a teljes állapot nem ismert.

A rendszer hatékonysága tehát egyelőre a cég adatai alapján ítélhető meg, a 35 másodperces határidő pedig a leállítás és a kimenet megszakítása között telik el.