Az Anthropic szöveg-vízjelezése perverzió — szöveghamisítás a minőség rovására
Az Anthropic új módszere a Claude-generálta szövegek titkos nyelvi ujjlenyomatokkal való ellátására ellentmond korábbi állításainak és perverziónak minősül — állítja John Gruber.
Az Anthropic bejelentette, hogy hamarosan minden Claude-modell „vízjelezni” fogja a generált tartalmakat, beleértve a szövegeket is, hogy megfeleljen az EU szabályozásának. A cég eredeti közleménye, „Hogyan jelöli a Claude a mesterséges intelligencia által generált tartalmakat”, nem adott leírást a módszerről, ami spekulációra adott okot. (Hacker News)
John Gruber, a Daring Fireball szerzője szerint az Anthropic eredeti dokumentuma azt állította, hogy a vízjel „észrevétlen”, és „nem változtatja meg a Claude válaszának jelentését, minőségét vagy olvashatóságát”. Gruber azonban úgy véli, ez a megközelítés elfogadhatatlan, mivel a szöveg egyetlen pontosságát sem szabad feláldozni a származás rejtett jelzéseiért.
A technikai megvalósítás ellentmondásai
A Daring Fireball új cikkében egy másik, „Hogyan működik a Claude szöveges vízjele?” című dokumentumra hivatkozva ismerteti a módszert. Eszerint a technika a szóválasztás (token kiválasztás) manipulálásával hagy „ujjlenyomatokat” a szövegben, amelyek valószínűsíthetően kimutathatók. Ez a módszer megváltoztatja a generált szöveg szemantikáját, ellentmondva a korábbi állításoknak.
A vízjelzés lényege, hogy a modell döntési pontjainál a „zöld” és „piros” szavakat tartalmazó listák alapján tesz kiválasztásokat. A zöld listáról nagyobb valószínűséggel választ szavakat, mint a pirosról, de nem kizárólagosan. A szöveg hosszának növekedésével nő a vízjel pontossága, és csak az Anthropic tudja majd kimutatni a Claude által generált tartalmakat, mivel titkos kulcsokat használ.
A szövegminőség rovására
Gruber alapvető problémája a módszerrel, hogy a szinonimák sem hordozzák pontosan ugyanazt a jelentést. Az LLM-eknek minden döntési ponton a legprecízebb szavakat kellene választaniuk. A szerző szerint a szóválasztás manipulálása „perverziónak” minősül, amely aláássa a szöveg minőségét, és ellentmond az AI-eszközökkel szembeni elvárásoknak.
A vita központjában az Anthropic Claude modellje áll, amelynek új biztonsági protokollja a szöveges tartalmak titkos jelezését teszi lehetővé.