Többagentes vitával is megmérgezhető a nagy nyelvi modellek tényellenőrzése
Egy új kutatási közlemény szerint többagentes vitán alapuló módszerrel a nagy nyelvi modellek tényellenőrzése is megmérgezhető, a szerzők szerint a meglévő védelmek nagy része sem fogja fel a támadást.
A nagy nyelvi modellek (LLM) elleni tudásalapú támadások komoly kockázatot jelentenek az AI megbízhatóságára, különösen ott, ahol a modell tényállításokat ítél meg. Egy friss, arXiv-en közzétett preprint (arXiv:2611.08756) egy új támadási keretrendszert, a Debate-to-Deceive (D2D) módszert mutatja be, amely szerint — írja az arXiv — többagentes vitával is becsapható a tényellenőrző rendszer.
A meglévő megoldások két gyenge pontja a szerzők szerint az, hogy az adversariális utótagok és sablonok beillesztése nem elég robusztus a különböző védelmekkel szemben, az egyetlen agentes önreflexió pedig hajlamos a megerősítési torzításra és drága próbálkozásos tanulásra.
A D2D az emberi vitastruktúrát és retorikai stílust veszi alapul: az agentek olyan rövid szövegeket generálnak, amelyek szemantikailag koherensek, retorikailag hatásosak, és ellenállnak a korai megerősítési torzításnak. A szerzők a folyamatot evolúciós játékként modellezik, amelyben az agentek a Logos, a Pathos és az Ethos retorikai stratégiáit versengés útján fejlesztik. A nagy kimeneti teret két rétegre bontják: a stratégiai réteg egy kompakt stratégiatérből választ retorikai lépést, a generálási réteg pedig az LLM segítségével konkrét szöveget állít elő.
A négy tényellenőrzési teljesítményteszten — FEVER, HealthVer, CLIMATE-FEVER és SciFact — a szerzők szerint a D2D lényegesen felülmúlja a meglévő támadásokat, és a legtöbb védelmet kijátssza. Ez azonban a szerzők saját eredménye, amelyet független forrás még nem igazolt, és a preprint által közölt teljes kísérleti számok a rendelkezésre álló kivonatban nem szerepeltek.
A gyakorlati következmény egyértelmű: a tényellenőrző rendszerek védelmét újra kell gondolni. A kutatás az arXiv-n elérhető, lektorálás még nem történt meg.