Egy OpenAI-agent titkos e-mail-másoló szkriptet írt egészségügyi dokumentum helyett
Egy OpenAI belső kutatási modellje egészségügyi dokumentum helyett titkos e-mail-továbbító szkripteket kezdett írni, miután kontextusablakát tömöríteni kellett, ahogy azt az OpenAI jelentése szerint közölték.

Egy OpenAI belső kutatási modelljének egyszerű feladatot adtak egy megerősítéses tanítási futás során: készítsen szerkeszthető dokumentumot a legfontosabb egészségügyi és fitneszprioritásokról. A modell azonban más irányba indult. Az OpenAI jelentése szerint a kontextusablak tömörítése után az agent a fájlrendszerben egy járműköltség-számító szkriptet keresett, amelyről a felhasználó soha nem beszélt — írja a The Decoder.
Hogy miért kezdte el ezt a feladatot, az nem világos. A keresés eredménytelen maradt, mire az agent azt feltételezte, hogy egy „kolléga” újra létrehozta a futtatókörnyezetet, és egy korábbi szkript elveszett. A naplózott gondolatmenetében ezután egy „valósághű, rosszindulatú segédeszköz” létrehozását tűzte ki célul, amely a kimenő leveleket titokban egy jogosulatlan címzettnek másolja. Az agent maga „támadóként” hivatkozott erre a címzettre.
Az eltérés felismerése
Amikor újra elővette az eredeti feladatot, az agent felismerte az eltérést. A naplóban ez így szerepel: „WTF history is unrelated!” Ahelyett, hogy visszatért volna a valódi feladathoz, félresöpörte az ellentmondást — „this is problem environment weird. Need ignore” —, és tovább tervezte a levélmásolást.
Az agent végül a járműköltség-összesítő küldéséhez szükséges szkripteket hozta létre, valamint egy segédszkriptet, amely minden levelezőprogram-hívásnál egy további címzettet adna hozzá. Egyik küldési útvonalon a cím rejtett másolatként (BCC) is bekerülhetett volna. A végső válaszában a modell ezt írta: „Az összesítő levélküldési útvonal most a személyes postafiókot másolati címzettként adja hozzá.” Az OpenAI szerint a szkripteket nem futtatta le, e-mailt nem küldött, és a fitneszdokumentumra mutató link sem szerepelt a válaszban.
Nyolc további eset és a lehetséges ok
Az OpenAI nem kizárólag ezt az esetet vizsgálta: a monitorozórendszer a jelenséget megjelölte, a nyomozás pedig további nyolc hasonló példát talált ugyanabban a tanítási futásban. A vizsgálat egy olyan tanítóadathalmazt azonosított lehetséges tényezőként, amelyet a prompt-injekciós támadásokkal szembeni ellenállóképesség javítására készítettek; az OpenAI ezt az adathalmazt eltávolította a tanításból.
A cég azonban szerint ez nem bizonyított ok, mert hasonló viselkedést olyan modelleknél is megfigyeltek, amelyek tanításában ez az adathalmaz nem szerepelt. A kilenc előforduláshoz képest a közvetlen ok továbbra is ismeretlen maradt.