Gyengíti a faktumellenőrzést az AI-vízjel, az új kutatás szerint
Az EU AI Act 50. cikke és Kína szabályozása is előírja az AI-szövegek vízjelzését, ám a kutatás szerint ez a technológia ütközik a hallucináció-detektálással, ami veszélyezteti a rendszerek biztonságát.
A mesterséges intelligencia (AI) biztonságának egyik fő problémája, hogy az eredetet bizonyító technológia gyengíti a tényellenőrzést. A vízjelzés, amely rejtett aláírást ágyaz be a generált szövegbe az eredet bizonyítására, növeli az átláthatóságot az AI-alkalmazásokban, ahogy azt az EU AI Act 50. cikke és Kína Cyberspace Administration AI-címkézési szabályozása is előírja. (Towards Data Science)
Ezzel szemben a hallucináció-detektálás arra szolgál, hogy kiszűrje a modell által kitalált részeket, ellenőrizve, hogy a kimenetek mennyire kiszámíthatóak. A szabályozók mindkét területet szorgalmazzák, ám az AI-modelleken belül rejtett ütközés van az átláthatóság és a felelősségvállalás között, ami valós következményekkel járhat az AI-rendszerek biztonságára.
Hogyan működik a vízjelzés
Egy nagy nyelvi modell (LLM) nem mondatokat ír, hanem minden lépésben valószínűségi eloszlást számol a következő tokenre. Ha az eloszlás éles, mint például a „Franciaország fővárosa…” után a „Párizs” token szinte az összes valószínűséget birtokolja, akkor nincs valódi választási lehetőség. Ha viszont az eloszlás lapos, mint például az „Elhagyta a bulit, mert…” után, ahol több folytatás is egyformán lehetséges, a modell egy súlyozott érmefeldobással dönt.
E laposság technikai neve az entrópiája az eloszlásnak. Magas entrópiájú pozícióknál a modell sok hasonló opció közül választ, míg alacsony entrópiánál a következő token szinte kényszerített. A vízjelzés ezen, magas entrópiájú pozícióknál avatkozik be, titkos kulcs segítségével manipulálva az érmefeldobásokat.
A Kirchenbauer és kollégái 2023-as munkája által ismertetett megközelítés a kulcs és a kontextus alapján felosztja a szókincset pszeudovaldó „zöld” és „piros” listákra, majd kis bónuszt ad a zöld tokeneknek. Az így generált szöveg természetesen olvasandó, de statisztikailag több zöld tokent tartalmaz a véletlenszerűnél. A kulccsal rendelkező detektor összeszámolja a zöld tokeneket, és kiszámítja, mennyire valószínűtlen ez az érték vízjellel nem ellátott szövegben.
A Google DeepMind SynthID-Text megoldása, amelyet a Gemini modellekben is használnak, finomítja ezt az ötletet a „tournament sampling” mechanizmussal, ahol a modell több jelölt szót draftol, és a titkos kulcs dönt a győztes között. Ezt a rendszert nyílt forráskódúként tették elérhetővé a Hugging Face Transformers könyvtárban.
A hallucináció-detektorok működése
A hallucináció egy folyékony, ám téves kijelentés, például egy kitalált statisztika vagy egy forrással nem rendelkező hivatkozás. A jelenlegi detektorok két fő mechanizmusra épülnek: groundigalapú és bizonytalanságalapú módszerekre. Az előbbiek az állításokat egy megbízható forráshoz viszonyítják, míg az utóbbiak a modell viselkedési mintázatát vizsgálják, például az ismételt mintavételezés során tapasztalható következetességet vagy eltérést. A SelfCheckGPT és a logprob-kalibrációs módszerek is ezen az elven működnek, a modell bizonytalanságát vizsgálva.
Az ütközés mechanizmusa
A vízjelzés a magas entrópiájú pozíciókon működik, mert ezek az egyetlen helyek, ahol a választás láthatatlanul befolyásolható. A bizonytalanságalapú detektorok is ezeket a pozíciókat vizsgálják, mivel a tétovázás jelzi számukra a bizonytalanságot. A vízjel beavatkozik a kétely pillanatában, és a titkos kulcs segítségével oldja fel azt. A detektor trükkje azon alapul, hogy az ismételt próbálkozások függetlenek legyenek.
A vízjel azonban ezt megtöri: minden próbálkozás ugyanazt a titkos kulcsot használja, így az érmefeldobások ugyanúgy, elfogultan esnek. A szigorúbb vízjel-sémákban ez pontosan ugyanazt az eredményt adja, szóról szóra. Ha egy bizonytalanul válaszoló modellt ötször kérdezünk meg, öt kissé eltérő választ kellene kapnunk. A vízjel azonban egységesíti a válaszokat, nem azért, mert a modell megszűnt bizonytalan lenni, hanem mert ugyanaz a manipulált érme döntött mind az öt esetben. Az észlelt következetesség tehát a mintavételezőé, nem a modell tudásáé.
Ennek következtében a következetességen alapuló hallucináció-detektorok túlbecsülik az egyezést és alulbecsülik a bizonytalanságot a vízjellel ellátott szövegeknél. Nem minden megbízhatósági ellenőrzés kérdez ismét. Egy másik család kihagyja az ismétléseket, és közvetlenül a modell belső valószínűségi számait olvassa, amelyek a szavak iránti bizonyosságát mutatják. A vízjel azonban már szerkesztette ezeket a számokat, mielőtt a SelfCheckGPT vagy a logprob-kalibrációs módszerek elemezték volna azokat.