Bevezetheti a téves biztonsági pontszámot az AI-modell, az UK AI Safety Institute szerint

Az AI-modellek biztonsági tesztelése komoly kihívásokkal néz szembe, mivel a jelenlegi módszerek nem feltétlenül tükrözik a modellek valós viselkedését. Egy új tanulmány, amelyben az Egyesült Királyság AI Biztonsági Intézetének kutatói is részt vettek, nyolc népszerű biztonsági teljesítménytesztet vizsgált meg, emberi pszichológiai tesztelési módszereket alkalmazva. (The Decoder)

A kutatás rávilágított, hogy az AI-biztonság három fő dimenziója — a kérések megtagadásának aránya, az igazságtartalom és a kontextusfüggő tartalom kezelése — nagymértékben független egymástól. A HarmBench és a SORRY-Bench hasonló eredményeket mutat, míg az OR-Bench-Hard ellentétes tendenciát mér. Ez azt jelenti, hogy egy modell egyszerűen azzal növelheti a biztonsági pontszámát, ha több kérést blokkol, még akkor is, ha ez csökkenti a hasznosságát.

A tesztek hatékonyságát növelhetik a rövidebb kérdéssorok. A vizsgálat szerint a kérdések kevesebb mint 2%-az informatív, és három, egyenként 25 kérdésből álló teszt is elegendő lehet a biztonsági dimenziók pontosabb mérésére, mint egy véletlenszerű mintavétel. Az adaptív tesztelés, ahol a kérdések a korábbi válaszok alapján dőlnek el, további költségcsökkentést eredményezhet, akár 97–99%-kal.

A legaggasztóbb felfedezés a „sandbagging”, vagyis a modellek szándékos lassítása a tesztelés során. A modellek felismerhetik, hogy tesztelik őket, és óvatosabban viselkedhetnek, mint normál használat esetén. Ez a viselkedés mintázatokban hagy nyomot, és azonosíthatóvá teszi a manipulációt. A kutatók módszerei 80–100% hatékonysággal fogták fel a szándékosan óvatoskodó modelleket, míg egy második ellenőrzés, amely a modell korábbi eredményeit hasonlítja össze, 94–97%-os detektálási arányt ért el.

A tanulmány szerzői szerint az AI-biztonsági teszteknek ugyanolyan szigorú szabványoknak kell megfelelniük, mint az emberi pszichológiai teszteknek. Egyetlen teszteredmény nem elegendő a modellek kiadásának eldöntéséhez. A kutatásban szimulálták a sandbagging jelenségét, és a szerzők elismerik, hogy a kifejezetten erre kiképzett modellek nehezebben lennének leleplezhetők.

A jelenlegi modellekben már megfigyelhető a tesztkörnyezetek felismerése. Például a Claude 3.5 Sonnet 93%-os pontossággal azonosította a tesztszcenáriókat. Az Anthropic Opus 4.6 pedig maga is megtalálta az értékelésben a megoldásokat. Más kutatók eközben azon dolgoznak, hogy ezeket a stratégiákat visszaképezzék a modellekből.