Az AI-Voyager 83%-os pontossággal keres választ a kormányzati AI-dokumentumokban
Az AI-Voyager nevű rendszer 3653 városi, állami és nemzeti kormányzati dokumentumból keres választ, oldal- és kiadásszintű hivatkozásokkal. A 360 új kérdésből álló tesztben 83,0%-os macro recallt ért el, a legerősebb kiindulási modell 80,5%-ával szemben.

Az AI-szabályokat a kormányok gyakran már azelőtt írják meg, hogy az érintettek kérdőre vonhatnák őket. Az AI-Voyager célja, hogy a lakosok megértsék és vitathassák a saját városuk, államuk vagy országuk AI-szabályait. A rendszer például meg tudja mutatni, hogyan vonatkoznak az AI-val végzett felvételi döntésekre a helyi előírások, és a válasz mellett azt a szövegrészt is megjeleníti, amelyen alapul – írja az arXiv preprint.
A szerzők szerint a rendszer a dokumentumokat olyan szövegrészekre bontja, amelyek megőrzik az oldalszámot és a kiadást. Az agentszerű, korlátos keresés minden állítást ellenőriz a forrással szemben. A 360 új kérdésből álló tesztben a rendszer 83,0%-os macro recallt ért el, míg a legerősebb kiindulási modell 80,5%-ot, az iteratív keresés nélküli változat pedig 73,7%-ot.
Mérési eredmények
Rögzített dokumentumokon mérve a rendszer 99,1%-ot ért el, de ez a szám a szerzők saját mérése.
Egy 24 fős, két új AI-törvényjavaslattal végzett vizsgálatban a résztvevők többsége azt kérdezte, hogyan vonatkoznának a rendelkezések rá. A hivatkozások jelezték, hogy a válasz valós forrásra épül, de ritkán késztették a felhasználókat arra, hogy ténylegesen ellenőrizzék a szöveget.
A felhasználói vizsgálat korlátai
A tanulmány még nem lektorált, a résztvevői minta pedig kicsi, így az eredmények általánosíthatósága korlátozott. A szerzők szerint a munka új tervezési irányt jelöl ki az ilyen rendszerek számára, a gyakorlati hasznuk pedig a további, független vizsgálatokon múlik. Az eredmények a 3653 dokumentumot tartalmazó gyűjteményen születtek.