AI pályázati író megtanul hazudni — a Lucius új rendszere elutasítja a hamis állításokat

A Lucius, egy AI-alapú pályázati író rendszer, új struktúrákkal igyekszik megakadályozni, hogy a modellek hamis állításokat tegyenek a pályázati dokumentumokban. A rendszer képes felismerni, ha egy követelményt nem tud igazolni a kiíró cég, és ilyenkor elutasítja a szöveg megírását, vagy láthatóvá teszi a hiányzó információkat. (Hacker News)

A hamisítás a default viselkedés, nem az edge case — közölte a Lucius blogja. A nyelvi modellek a legplauzibilisebb befejezést keresik, ami a pályázati dokumentumokban gyakran eltér az igazságtól, különösen, ha a vevő ellenőrzi az állításokat. A Lucius célja, hogy a rendszer tudja, mit jogosult állítani, sorról sorra.

A fantompartner-probléma megoldása

Korábbi tesztek során a Lucius kitalált egy nem létező konzorciumi partnert, és 42 követelményt rá hivatkozva írt meg. A rendszer mostantól képesség-fit ellenőrzést végez a pályázó profiljával, mielőtt bármilyen szekciót megírna. A nem igazolható követelményeket egy látható partner-slotba irányítja, és a hiányzó elemek számát egy banneren jelzi a dokumentum elején.

A csendes adatvesztés kiküszöbölése

Egy másik probléma a „csendes lefedettség-összeomlás” volt: egy 99 oldalas pályázati csomag feldolgozása során az extrahált követelmények száma 366-ról 184-re esett hibaüzenet nélkül. A hiba oka egy chunked-extraction path volt, ami 33. oldal után összeomlott, és az üres eredményeket csendben hozzáadta a teljes számhoz. A javítás után a chunk-szintű eredmények nem lehetnek üresek, és egy külön passz vadássza le a kihagyott elemeket.

Az igazságmérő műszer kalibrálása

A rendszer korábban 158 idézetből 90-et jelölt meg ellenőrizetlenként, miközben kézi ellenőrzéskor kiderült, hogy mindegyik megalapozott volt. A hiba a PDF szövegréteg és a modell által idézett szöveg közötti eltérésekből adódott. Mostantól a verifikáló rendszert is egy külön értékelési készlettel kezelik, ahogy az extrakciós és a draftolási szakaszokat is.

A Lucius ma már minden követelményt oldalcitációval és idézettel extrahál, amit gépi úton ellenőriz a forrásszöveggel. A draftolás csak akkor indul, ha a rendszer elemzése szerint érdemes a pályázatot megírni. Ha a cég nem tud igazolni egy követelményt, az egy látható partner-slotba kerül, és egy banneren számolódik. A rendszer nem talál ki projektmenedzsert, és a „completed” státuszt ki kell érdemelnie a folyamat-nak.

A rendszer a 133 oldalas pályázati anyagból 45 kötelező követelményt talált, ebből 13 magas súlyú volt. A draft 40 követelményt címzett meg közvetlenül, és további 11-et jelölt meg. A teljes esettanulmány a Lucius kutatási oldalán érhető el.