Az OpenAI vízjele nem biztos, hogy megfelel az EU új szabályainak

Az Európai Unió most azt követeli meg, hogy az AI által írt szöveg vízjelet kapjon, hogy felismerhető legyen. Az OpenAI októberben kiadott textGrain nevű vízjele éppen ezt a célt szolgálja, a tesztek azonban azt mutatják, hogy szerkesztés után vagy 150 szó alatt gyakran eltűnik a jel – írja az IEEE Spectrum.

Nincs egyértelmű jogi mérce arra, mennyire kell jól működnie egy vízjelnek, így az sem világos, megfelel-e a textGrain az európai átláthatósági szabályoknak. Ez a vállalatra jelentős költséget róhat, a megfelelés hiánya pedig nehezebbé teszi az AI-szöveg felismerését is, ahogy a modellek egyre kifinomultabbak lesznek.

Hogyan működik a vízjel

Az AI-modellek a már leírt szöveg alapján számolják ki, melyik következő „token” (szó vagy szótöredék) a legvalószínűbb, majd kiválasztanak egyet. A vízjel egy titkos kulccsal álvéletlen számokat generál, amelyek befolyásolják a választást. Ettől a szövegben statisztikai minta keletkezik, amelyet az azonos kulccsal rendelkező detektor kereshet – magyarázza Xiang Li, a textGrain műszaki jelentésének társszerzője és a Pennsylvaniai Egyetem posztdoktori kutatója.

A textGrain abban különbözik a többi vízjeltől, hogy az entrópiát, vagyis a modell szóválasztásának kiszámíthatatlanságát erőforrásként kezeli. A fejlesztő megadja, mennyi kiszámíthatatlanságot enged meg, a rendszer pedig ehhez igazodik. Li szerint így a fejlesztők jobban szabályozhatják a felismerhető jel és a kimenet változatossága közötti egyensúlyt.

Mire nem jó a detektálás

A vízjel az olvasó számára láthatatlan. A pozitív találat viszont nem mutatja meg, mennyit írt az ember a szövegből, a negatív eredmény pedig nem bizonyítja, hogy a szöveg emberi munka. Az OpenAI szerint a téves pozitív arány 1 százalék, vagyis nagyjából minden századik vízjel nélküli szöveget tévesen megjelölhet.

Az ELI5 adatbázis pszichológiai kérdésein végzett tesztekben a modell a 200 tokenes (nagyjából 150 szavas) szövegek mintegy 80 százalékában, a 400 tokenes (nagyjából 300 szavas) szövegek 95 százalékában mutatta ki a vízjelet. Li ezt alapvető korlátnak nevezi, amelyet nehéz megoldani: rövid szövegben túl kevés a vízjel nyoma. Az OpenAI egy 400 tokenes szövegeken végzett értékelése szerint a szavak 10 százalékának szinonimákra cserélése a felismerést 92 százalékról 66 százalékra csökkentette, 25 százalékos cserénél pedig 17 százalékra esett.

Az OpenAI szerint a vízjel önmagában nem elegendő annak eldöntésére, hogy egy tartalom AI-generált-e. A textGrain más eszközökkel, például a metaadatban tárolt tartalmi hitelesítéssel és a Google DeepMind SynthID vízjelével együtt működne.

Mit ír elő az uniós szabály

Az EU AI Act 50. cikkének átláthatósági kötelezettségei augusztus 2-án léptek hatályba. Eszerint a szintetikus hangot, képet, videót vagy szöveget előállító rendszerek kimenetét gépileg olvasható formában kell megjelölni. A technikai megoldásoknak a jogszabály szerint „hatékonynak, interoperábilisnak, robusztusnak és megbízhatónak” kell lenniük, amennyiben ez technikailag megvalósítható. Az uniós gyakorlati kódex önkéntes útmutatást ad, és nem követeli meg a vízjelet a 200 token alatti kimeneteknél.

Thomas Souverain, a párizsi Institute of Advanced Education AI-etikai posztdoktori kutatója szerint a jogszabály értelmezésre nyitott. Szerinte a textGrain mögötti korai módszertan megbízhatónak tűnik, és jobban is teljesíthet a versenytársainál. Az OpenAI azt állítja, hogy saját tesztjeiben a textGrain legalább olyan jó volt, mint a Google SynthID Text, ezeket az eredményeket azonban független szakértők még nem ellenőrizték.

Független ellenőrzés még várat magára

Amíg a független kutatók nem tesztelhetik a rendszert, és az AI Act kritériumai nem tartalmaznak mérhető küszöbértékeket, korai lenne eldönteni, megfelel-e a textGrain a jogi követelményeknek. Souverain szerint jelenleg csak egy műszaki tanulmány áll rendelkezésre, lektorált cikk nincs, és a pontos protokollhoz sem férnek hozzá.

Az OpenAI egy szűk kutatócsoporttal dolgozik együtt, köztük John Thickstunnal, a Cornell Egyetem adjunktusával és a pozsonyi KInIT kutatóival. Thickstun és Dominik Macko, a KInIT vezető kutatója szerint éppen most kaptak hozzáférést, és még nem kezdték meg az értékelést. Macko csapata különböző témákon, nyelveken és szövegtávokon vizsgálná a rendszer robusztusságát.

Souverain szerint ha kiderülne, hogy a textGrain nem felel meg az uniós követelményeknek, az OpenAI éves bevételének akár 7 százalékáig terjedő bírságra számíthat. Ő nyílt forráskódú közzétételt szorgalmaz, hogy más kutatók is megtalálhassák a hibákat. „Ha nagy hiba vagy gyengeség derül ki, a vállalati érdek az, hogy ez a háttérben derüljön ki” – mondta, hozzátéve: szeretné, ha a módszerekhez ugyanúgy hozzá lehetne férni, mint a SynthID esetében.