Hiányzó iratokat és ellentmondásokat fedez fel a relációs táblás módszer

Angela Shi, az Enterprise Document Intelligence kutatója szerint a hosszú kontextusablakok ellenére a nagy nyelvi modellek (LLM) még mindig kihívásokkal néznek szembe a dokumentumcsomagok, például biztosítási kárigények elemzésekor. A probléma nem a dokumentumok mennyiségében, hanem azok heterogén jellegében és az információk elhelyezkedésében rejlik. (Towards Data Science)

A hagyományos megközelítések, amelyek a teljes dokumentumot a promptba helyezik, nem képesek válaszolni két kulcsfontosságú kérdésre: vajon szerepel-e a második javítási számla a mappában, és egyezik-e a kár dátuma a biztosítási jelentésben szereplővel. Ezek a kérdések nem keresési feladatok, hanem a dokumentumcsomag egészére vonatkozó ellenőrzések, amelyekhez az információk több, egymástól eltérő dokumentumból származnak.

A dokumentumcsomagok heterogén természete

Egy biztosítási kárigényhez tartozó dokumentumcsomag tizenegy PDF-ből állhat, amelyek összesen hatvan oldalt tesznek ki. Ezek a dokumentumok – szerződés, fénykép, szakértői jelentés, számlák – semmiben sem hasonlítanak egymásra. A kezelő első lépése nem a keresés, hanem egy belső lista végigfutása, amely ellenőrzi a szükséges dokumentumok meglétét. A modellnek is képesnek kell lennie erre a „hiányzó dokumentum” elsőrangú válaszként való kezelésére.

Relációs táblák az elemzéshez

Shi szerint a megoldás a dokumentumcsomagok relációs táblákként való modellezésében rejlik. Ezek a táblák felsorolják az elvárt dokumentumokat és azok típusát, lehetővé téve a hiányzó iratok azonosítását és a különböző dokumentumokból származó értékek összehasonlítását. Ez a megközelítés eltér a hagyományos RAG-rendszerektől, amelyek szöveges válaszokat adnak; itt a válasz maga az állapot: a dokumentumok jelenléte/hiánya és az értékek egyezése/eltérése.

A kutatás részeként egy fiktív tűzkárigényt dolgoztak fel, amely egy asztalos műhelyt érintett. A tizenegy PDF-ből álló csomagban szerepelt a kárbejelentő lap, a biztosítási szerződés, a javítási árajánlatok és számlák, valamint egy tévesen odakerült járműjegyzék. A modell feladata volt azonosítani a hiányzó tűzoltói jelentést és az ellentmondást a kár dátuma és a helyszíni szemle dátuma között.

Ez az új megközelítés, amely a dokumentumcsomagok egészére fókuszál, kevésbé ismert, mint a hagyományos RAG-módszerek, de a cikkhez tartozó notebook lehetővé teszi a felhasználók számára, hogy saját mappákon futtassák a „completeness check”-et, amely három listát ad vissza: a jelen lévő, a hiányzó és a tévesen besorolt fájlokat. A kutatás eredményeit a tervek szerint 2026. augusztus 23-án publikálják.