ÉlőUtoljára: 5 perceMa: 8
Kutatás

Az AI-Voyager 83%-os pontossággal keres választ a kormányzati AI-dokumentumokban

Az AI-Voyager nevű rendszer 3653 városi, állami és nemzeti kormányzati dokumentumból keres választ, oldal- és kiadásszintű hivatkozásokkal. A 360 új kérdésből álló tesztben 83,0%-os macro recallt ért el, a legerősebb kiindulási modell 80,5%-ával szemben.

Az AI-Voyager 83%-os pontossággal keres választ a kormányzati AI-dokumentumokban
Fotó: Eric Prouzet / Unsplash
forrás: arXiv·AI Forradalom szerk.·
Megosztás

Az AI-szabályokat a kormányok gyakran már azelőtt írják meg, hogy az érintettek kérdőre vonhatnák őket. Az AI-Voyager célja, hogy a lakosok megértsék és vitathassák a saját városuk, államuk vagy országuk AI-szabályait. A rendszer például meg tudja mutatni, hogyan vonatkoznak az AI-val végzett felvételi döntésekre a helyi előírások, és a válasz mellett azt a szövegrészt is megjeleníti, amelyen alapul – írja az arXiv preprint.

A szerzők szerint a rendszer a dokumentumokat olyan szövegrészekre bontja, amelyek megőrzik az oldalszámot és a kiadást. Az agentszerű, korlátos keresés minden állítást ellenőriz a forrással szemben. A 360 új kérdésből álló tesztben a rendszer 83,0%-os macro recallt ért el, míg a legerősebb kiindulási modell 80,5%-ot, az iteratív keresés nélküli változat pedig 73,7%-ot.

Mérési eredmények

Rögzített dokumentumokon mérve a rendszer 99,1%-ot ért el, de ez a szám a szerzők saját mérése.

Egy 24 fős, két új AI-törvényjavaslattal végzett vizsgálatban a résztvevők többsége azt kérdezte, hogyan vonatkoznának a rendelkezések rá. A hivatkozások jelezték, hogy a válasz valós forrásra épül, de ritkán késztették a felhasználókat arra, hogy ténylegesen ellenőrizzék a szöveget.

A felhasználói vizsgálat korlátai

A tanulmány még nem lektorált, a résztvevői minta pedig kicsi, így az eredmények általánosíthatósága korlátozott. A szerzők szerint a munka új tervezési irányt jelöl ki az ilyen rendszerek számára, a gyakorlati hasznuk pedig a további, független vizsgálatokon múlik. Az eredmények a 3653 dokumentumot tartalmazó gyűjteményen születtek.

tetszett a cikk? oszd meg →
Megosztás

Tetszik az oldal? Támogasd a fejlesztést

Az AI Forradalom egy automatizált pipeline: napi adatgyűjtés, LLM-feldolgozás és infrastruktúra fenntartása valódi költségekkel jár. Ha értékesnek találod a tömör, naprakész AI-összefoglalókat, egy kávé sokat segít.

☕ Támogatom